面试题库 › 算法 / 大模型 › 数据并行、张量并行与流水线并行

数据并行、张量并行与流水线并行

难度 ★★★在 6 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

寒武纪1蚂蚁集团1多益网络1

常见岗位:AI 应用 / Agent 开发、推理部署与加速、计算机视觉、大模型算法

答案要点

  1. 数据并行:每卡完整模型、切分数据、all-reduce 同步梯度,简单高效但受单卡显存限制
  2. ZeRO-1/2/3 依次分片优化器状态、梯度、参数,FSDP 思路接近 ZeRO-3
  3. 张量并行:层内矩阵按行或列切分,每层需通信,宜放在高带宽的节点内
  4. 流水线并行:按层切分为多个 stage,用 micro-batch 流水,需减小气泡
  5. 大模型常组合为 3D 并行,另有序列并行、专家并行;按显存与通信瓶颈选型

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题