RL 训练中 rollout 耗时过高、GPU 利用率低的优化
哪些公司问过
答案要点
- 瓶颈成因:自回归解码访存密集、回答长度长尾、同步流水线导致 GPU 空等
- 推理加速:用 vLLM/SGLang 的连续批处理、PagedAttention、前缀缓存,推理侧独立设置并行策略
- 长尾处理:限制最大长度、过采样后丢弃慢样本、部分 rollout 跨轮续写
- 异步流水线:生成与训练重叠,控制 off-policy 程度并做重要性采样修正
- 资源配比:按 profiling 结果调整推理与训练 GPU 比例,或共置部署分时复用
易错点
- 只想着加卡,没定位瓶颈是长尾还是推理引擎吞吐
- 直接用训练框架的 generate 做 rollout,没用专门的推理引擎
- 做了异步却不控制策略滞后,导致训练不稳定甚至发散
面试官常见追问
- 异步 rollout 会带来什么问题?
- 训练和推理引擎之间的权重怎么同步?
- 怎么减少无效的 rollout?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。