RLHF 中 Reference Model 是否需要训练
哪些公司问过
答案要点
- Reference Model通常是SFT模型的冻结拷贝,不更新参数
- PPO中Actor、Critic训练,Reward Model和Reference Model冻结
- 作用是计算策略与参考的KL,约束策略不偏离太远,防止reward hacking
- DPO损失中也依赖冻结参考模型的对数概率
- 参考模型只需前向推理,无梯度和优化器状态,显存开销相对小
易错点
- 把Reference Model和Reward Model混为一谈
- 认为参考模型和策略模型一起反向更新
- 说不清KL约束是在防止什么问题
面试官常见追问
- KL惩罚是怎么加进去的?
- 没有Reference Model会怎样?
- 参考模型会不会更新?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。