Ring 通信量分析与序列并行的 Zigzag 切分
哪些公司问过
答案要点
- Ring AllReduce = Reduce-Scatter + All-Gather,共 2(N-1) 步,每卡发送约 2(N-1)/N×S
- 通信量接近 2S 且与卡数基本无关,可吃满带宽;但延迟项随卡数线性增长
- Ring Attention:Q 分片固定,KV 块沿环传递,计算与通信重叠
- 因果掩码下顺序切分导致靠后卡计算多、靠前卡空闲,负载不均
- Zigzag 切成 2N 段,卡 i 持有第 i 段和第 2N-1-i 段,首尾配对实现负载均衡
易错点
- 把 Ring AllReduce 的每卡通信量说成随卡数线性增长
- 忽略因果掩码造成的负载不均,误以为顺序切分就够了
- 混淆数据量带宽项与步数延迟项
面试官常见追问
- Tree 相比 Ring 有什么优点?
- Ring Attention 的通信量是多少?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。