面试题库 › 算法 / 大模型 › 集合通信原语与 Ring AllGather 通信量分析

集合通信原语与 Ring AllGather 通信量分析

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

百度1

常见岗位:推理部署与加速、大模型算法

答案要点

  1. Reduce/Gather 汇聚到一个 rank;AllReduce/AllGather 所有 rank 得到相同结果;ReduceScatter 各得一份
  2. Ring AllGather:N−1 轮,每轮每 rank 收发一个 D/N 分片,总量 (N−1)/N·D
  3. Ring AllReduce = ReduceScatter + AllGather,2(N−1) 轮,每 rank 约 2(N−1)/N·D
  4. 开销模型:轮数 × 单轮延迟 + 数据量 / 带宽
  5. 影响因素:数据量、rank 数、链路带宽与延迟、拓扑(NVLink/PCIe/IB)、算法(ring/tree)

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题