3D 并行与 EP、CP、SP 的原理和作用
哪些公司问过
答案要点
- 数据并行切数据、梯度 all-reduce,ZeRO 进一步切分优化器状态与参数
- 张量并行按行列切层内矩阵,通信频繁,宜放机内高速互联
- 流水线并行按层切分,用 micro-batch 减少气泡,适合跨机
- EP 把 MoE 专家分布到不同卡,用 all-to-all 分发和收集 token
- Megatron SP 切分 LayerNorm、Dropout 激活;CP 全层切序列,处理长上下文
易错点
- 把 Megatron 的 SP 和 CP 混为一谈
- 张量并行跨机部署,被通信拖慢
- 只算参数显存,忽略梯度、优化器状态和激活
面试官常见追问
- Megatron SP 会增加通信吗?
- 流水线气泡怎么减少?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。