异步 RL 训练中损失函数的修正方法
哪些公司问过
答案要点
- 问题根源:异步下行为策略滞后于目标策略,样本变为离策略,梯度有偏
- 重要性采样:用 π/μ 概率比修正,并截断比值控制方差
- V-trace(IMPALA):截断重要性权重修正价值目标与策略梯度
- PPO 裁剪或 KL 约束限制更新幅度;可将行为策略与近端策略解耦处理
- 工程约束:限制最大滞后步数,丢弃过旧样本;补偿推理与训练引擎的概率差异
易错点
- 认为 PPO 的 old policy 就等于异步场景的行为策略,忽略滞后多步时的偏差
- 重要性权重不截断,导致训练不稳定
- 只做算法修正不限制滞后步数,样本过旧仍然无法收敛
面试官常见追问
- 为什么重要性权重要截断?
- 推理引擎和训练引擎概率不一致是怎么回事?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。