数据并行、张量并行与流水线并行
哪些公司问过
答案要点
- 数据并行:每卡完整模型、切分数据、all-reduce 同步梯度,简单高效但受单卡显存限制
- ZeRO-1/2/3 依次分片优化器状态、梯度、参数,FSDP 思路接近 ZeRO-3
- 张量并行:层内矩阵按行或列切分,每层需通信,宜放在高带宽的节点内
- 流水线并行:按层切分为多个 stage,用 micro-batch 流水,需减小气泡
- 大模型常组合为 3D 并行,另有序列并行、专家并行;按显存与通信瓶颈选型
易错点
- 把张量并行跨节点部署,通信成为瓶颈
- 说数据并行能解决模型放不下的问题,忽略 ZeRO 等分片手段
- 忽视流水线并行的气泡,micro-batch 数太少导致利用率低
面试官常见追问
- ZeRO-1/2/3 分别优化了哪些状态?FSDP 与 ZeRO 有什么关系?
- 通信开销怎么解决?
- 如何根据场景选择并行方式?
- Prefill、Decode 与 Attention、MoE 组合有何差异?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。