面试题库 › 算法 / 大模型 › rollout 数量、batch size 与计算资源的关系

rollout 数量、batch size 与计算资源的关系

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

蚂蚁集团2

常见岗位:大模型算法

答案要点

  1. rollout 总数约等于提示数乘以每个提示的采样数,与 batch size 大体成正比
  2. 卡数决定采样和训练的并行度,理想情况下近似线性加速
  3. 实际是亚线性:通信开销、负载不均、长尾样本拖慢整批
  4. 增大 batch size 需同步调整学习率和更新次数
  5. 真实参与训练的样本数不一定等于 rollout 数,会经过拒绝采样等过滤

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题