在线与离线 RL、On-policy 与 Off-policy 对比
哪些公司问过
百度1百川智能1
答案要点
- 在线 RL 训练中持续交互,适合可模拟、低试错成本场景
- 离线 RL 只用固定数据集,适合交互昂贵或危险场景,需处理分布外动作高估
- On-policy 用当前策略采样,数据复用少、样本效率低但较稳定
- Off-policy 可复用历史或其他策略数据,样本效率高,需重要性采样或保守约束
- 大模型中 PPO、GRPO 为在线 on-policy,DPO 直接用离线偏好数据训练
易错点
- 把在线/离线与 on-policy/off-policy 混为一谈
- 认为 off-policy 一定更好,忽略其稳定性和分布偏移问题
- 把 DPO 说成离线 RL 算法的标准形式,它是基于偏好的直接优化方法
面试官常见追问
- 为什么 PPO 能对同一批数据做多轮更新,仍然算 on-policy?
- 离线 RL 为什么会高估分布外动作?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。