面试题库 › 算法 / 大模型 › 分布式训练基础:NCCL、AllReduce、ZeRO 与排障

分布式训练基础:NCCL、AllReduce、ZeRO 与排障

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

华为1

常见岗位:推理部署与加速、NLP / 语音

答案要点

  1. 数据并行 AllReduce 同步梯度;张量并行、流水线并行切模型,大模型多维组合
  2. NCCL 提供 AllReduce/AllGather/ReduceScatter 等,按拓扑选 NVLink、PCIe、IB
  3. Ring AllReduce = ReduceScatter + AllGather,每卡通信量约 2(N−1)/N 倍数据
  4. ZeRO 1/2/3 依次切优化器状态、梯度、参数,Stage3 显存约 16Φ/N
  5. 排障:NCCL_DEBUG=INFO、nvidia-smi topo -m、ibstat、nccl-tests

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题