面试题库 › 算法 / 大模型 › Ring 通信量分析与序列并行的 Zigzag 切分

Ring 通信量分析与序列并行的 Zigzag 切分

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

百度1小米汽车1

常见岗位:机器学习算法(泛)、大模型算法

答案要点

  1. Ring AllReduce = Reduce-Scatter + All-Gather,共 2(N-1) 步,每卡发送约 2(N-1)/N×S
  2. 通信量接近 2S 且与卡数基本无关,可吃满带宽;但延迟项随卡数线性增长
  3. Ring Attention:Q 分片固定,KV 块沿环传递,计算与通信重叠
  4. 因果掩码下顺序切分导致靠后卡计算多、靠前卡空闲,负载不均
  5. Zigzag 切成 2N 段,卡 i 持有第 i 段和第 2N-1-i 段,首尾配对实现负载均衡

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题