RLHF-PPO 的四个模型分工、损失与 KL 约束
哪些公司问过
答案要点
- 四个模型:Actor(训练)、Reference(冻结,算 KL)、Reward Model(冻结,打分)、Critic(训练,估计价值)
- 奖励模型用偏好对训练,损失为 −log σ(r_好 − r_差)
- 奖励中加入与参考模型的逐 token KL 惩罚,防止偏离和奖励投机
- 用 GAE 计算优势;Actor 用 clip 替代目标,Critic 用 MSE 价值损失
- 显存开销大,常用多卡加 ZeRO 等策略,具体配置按项目如实说明
易错点
- 把 Reference 和 Critic 的作用混淆
- 以为 KL 惩罚是在奖励模型训练阶段加的
- 编造训练卡数等细节,被追问时答不上来
面试官常见追问
- DPO 的训练流程是怎样的?和 PPO 有什么区别?
- 为什么 PPO 和 DPO 都用了?
- KL 惩罚系数怎么设?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。