面试题库 › 算法 / 大模型 › DeepSeek DualPipe 流水线并行原理

DeepSeek DualPipe 流水线并行原理

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

百度1

常见岗位:大模型算法

答案要点

  1. 来源与目标:DeepSeek-V3 提出,减少流水线气泡并隐藏 MoE 专家并行的 all-to-all 通信
  2. 双向调度:微批次从流水线两端同时注入,前向与反向交错执行
  3. 前向与反向块配对重叠:块拆分为注意力、分发、MLP、合并,反向再拆为输入梯度与权重梯度
  4. 调节通信与计算的 SM 分配比例,使通信基本被计算覆盖
  5. 代价:每设备保存两份参数,要求阶段数和微批次数为偶数

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题