面试题库 › 算法 / 大模型 › RLHF 属于在线还是离线强化学习

RLHF 属于在线还是离线强化学习

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

字节跳动1

常见岗位:大模型算法

答案要点

  1. 基于 PPO 的 RLHF 属于在线、on-policy 强化学习,训练数据由当前策略实时采样生成
  2. 每轮流程:策略生成回答,奖励模型打分并加 KL 惩罚,价值模型估计优势,PPO 更新策略
  3. 奖励模型训练是离线的,使用固定的人类偏好数据;策略优化阶段才是在线的
  4. 离线 RL(如 CQL、IQL)只用固定数据集、不与环境交互,核心难点是分布偏移
  5. DPO 在固定偏好数据上训练,一般归为离线方法;也有在线、迭代式 DPO 变体

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题