DeepSeek DualPipe 流水线并行原理
哪些公司问过
答案要点
- 来源与目标:DeepSeek-V3 提出,减少流水线气泡并隐藏 MoE 专家并行的 all-to-all 通信
- 双向调度:微批次从流水线两端同时注入,前向与反向交错执行
- 前向与反向块配对重叠:块拆分为注意力、分发、MLP、合并,反向再拆为输入梯度与权重梯度
- 调节通信与计算的 SM 分配比例,使通信基本被计算覆盖
- 代价:每设备保存两份参数,要求阶段数和微批次数为偶数
易错点
- 只说双向流水线,漏掉计算通信重叠这一核心设计
- 以为气泡完全为零,实际只是显著减少
- 忽略双份参数的显存代价
面试官常见追问
- DualPipe 和 ZeroBubble 有什么关系?
- 为什么 MoE 训练特别需要通信重叠?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。