Megatron 的 TP/PP/SP 并行策略如何配置
答案要点
- 总卡数 = TP × PP × DP,先放得下再减少通信
- TP 按注意力头和 FFN 中间维度切分,放在单机内
- PP 按层切分,适合跨机,用多 micro-batch 或交错调度减小气泡
- SP 在 TP 组内按序列维度切分 LayerNorm 等激活,降低显存
- 剩余维度做 DP,可配合分布式优化器切分优化器状态
易错点
- TP 跨机配置,通信成为瓶颈
- PP 的 micro-batch 太少,气泡占比高
- 把 Megatron 的 SP 理解为独立于 TP 的并行
面试官常见追问
- 数据并行、模型并行、流水线并行的区别?
- ZeRO 的 stage 怎么选?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。