RLHF 属于在线还是离线强化学习
哪些公司问过
答案要点
- 基于 PPO 的 RLHF 属于在线、on-policy 强化学习,训练数据由当前策略实时采样生成
- 每轮流程:策略生成回答,奖励模型打分并加 KL 惩罚,价值模型估计优势,PPO 更新策略
- 奖励模型训练是离线的,使用固定的人类偏好数据;策略优化阶段才是在线的
- 离线 RL(如 CQL、IQL)只用固定数据集、不与环境交互,核心难点是分布偏移
- DPO 在固定偏好数据上训练,一般归为离线方法;也有在线、迭代式 DPO 变体
易错点
- 因为偏好数据是事先标注的,就把整个 RLHF 说成离线 RL
- 混淆 on/off-policy 与 online/offline:前者看采样策略与被优化策略是否一致,后者看训练中是否与环境交互
- 把 DPO 当成标准的强化学习算法
面试官常见追问
- PPO 为什么说是近似 on-policy?
- 在线 RLHF 相比 DPO 有什么优缺点?
- KL 惩罚起什么作用?
- GRPO 属于在线还是离线?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。