面试题库 › 算法 / 大模型 › 在线与离线 RL、On-policy 与 Off-policy 对比

在线与离线 RL、On-policy 与 Off-policy 对比

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

百度1百川智能1

常见岗位:大模型算法

答案要点

  1. 在线 RL 训练中持续交互,适合可模拟、低试错成本场景
  2. 离线 RL 只用固定数据集,适合交互昂贵或危险场景,需处理分布外动作高估
  3. On-policy 用当前策略采样,数据复用少、样本效率低但较稳定
  4. Off-policy 可复用历史或其他策略数据,样本效率高,需重要性采样或保守约束
  5. 大模型中 PPO、GRPO 为在线 on-policy,DPO 直接用离线偏好数据训练

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题