集合通信原语与 Ring AllGather 通信量分析
哪些公司问过
答案要点
- Reduce/Gather 汇聚到一个 rank;AllReduce/AllGather 所有 rank 得到相同结果;ReduceScatter 各得一份
- Ring AllGather:N−1 轮,每轮每 rank 收发一个 D/N 分片,总量 (N−1)/N·D
- Ring AllReduce = ReduceScatter + AllGather,2(N−1) 轮,每 rank 约 2(N−1)/N·D
- 开销模型:轮数 × 单轮延迟 + 数据量 / 带宽
- 影响因素:数据量、rank 数、链路带宽与延迟、拓扑(NVLink/PCIe/IB)、算法(ring/tree)
易错点
- 把 AllGather 和 Gather 混淆:前者每个 rank 都有完整结果
- 算 Ring 通信量时把 D 当作单个分片大小,导致结果差 N 倍
- 忽略小消息时延迟项才是主要开销
面试官常见追问
- Ring 和 Tree 算法怎么选?
- 朴素 Gather 的瓶颈在哪?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。