面试题库 › 算法 / 大模型 › RLHF 中 Reference Model 是否需要训练

RLHF 中 Reference Model 是否需要训练

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

虾皮1

常见岗位:大模型算法

答案要点

  1. Reference Model通常是SFT模型的冻结拷贝,不更新参数
  2. PPO中Actor、Critic训练,Reward Model和Reference Model冻结
  3. 作用是计算策略与参考的KL,约束策略不偏离太远,防止reward hacking
  4. DPO损失中也依赖冻结参考模型的对数概率
  5. 参考模型只需前向推理,无梯度和优化器状态,显存开销相对小

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题