奖励模型训练、过优化与 Reward Hacking
哪些公司问过
答案要点
- 偏好对训练,损失为-log σ(r_w-r_l),常以SFT模型加标量头初始化
- 自训原因:业务偏好、领域知识、风格和安全标准与通用模型不同
- 过优化:代理奖励持续上升而真实质量先升后降,源于分布外的奖励失真
- Reward Hacking表现:冗长、迎合措辞、钻规则漏洞
- 缓解:KL约束、早停、奖励模型集成、长度惩罚、迭代重训
易错点
- 只看奖励模型分数上涨就认为策略变好
- 奖励模型只训一次,不随策略分布变化更新
- 去掉KL约束追求高奖励,加速过优化
面试官常见追问
- 奖励模型的泛化上限受什么限制?
- 怎么发现Reward Hacking?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。