面试题库 › 算法 / 大模型 › Megatron 的 TP/PP/SP 并行策略如何配置

Megatron 的 TP/PP/SP 并行策略如何配置

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

常见岗位:产品经理

答案要点

  1. 总卡数 = TP × PP × DP,先放得下再减少通信
  2. TP 按注意力头和 FFN 中间维度切分,放在单机内
  3. PP 按层切分,适合跨机,用多 micro-batch 或交错调度减小气泡
  4. SP 在 TP 组内按序列维度切分 LayerNorm 等激活,降低显存
  5. 剩余维度做 DP,可配合分布式优化器切分优化器状态

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题