分布式训练基础:NCCL、AllReduce、ZeRO 与排障
哪些公司问过
答案要点
- 数据并行 AllReduce 同步梯度;张量并行、流水线并行切模型,大模型多维组合
- NCCL 提供 AllReduce/AllGather/ReduceScatter 等,按拓扑选 NVLink、PCIe、IB
- Ring AllReduce = ReduceScatter + AllGather,每卡通信量约 2(N−1)/N 倍数据
- ZeRO 1/2/3 依次切优化器状态、梯度、参数,Stage3 显存约 16Φ/N
- 排障:NCCL_DEBUG=INFO、nvidia-smi topo -m、ibstat、nccl-tests
易错点
- 把 AllReduce 通信量说成随卡数线性增长;Ring 算法下每卡带宽开销基本恒定,但延迟随卡数增加
- 记错 ZeRO 各阶段切分对象的顺序
- 以为 ZeRO-3 没有额外代价,实际通信量增加且对网络带宽更敏感
面试官常见追问
- 为什么混合精度 Adam 每个参数要 16 字节?
- ZeRO 各阶段通信量有什么变化?
- 训练卡在 NCCL 通信、超时报错一般怎么查?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。