面试题库 › 算法 / 大模型 › 奖励模型训练、过优化与 Reward Hacking

奖励模型训练、过优化与 Reward Hacking

难度 ★★★在 4 场真实面经中被问到 方向:算法 / 大模型考点:奖励模型

哪些公司问过

阿里巴巴1百度1携程1百川智能1

常见岗位:大模型算法

答案要点

  1. 偏好对训练,损失为-log σ(r_w-r_l),常以SFT模型加标量头初始化
  2. 自训原因:业务偏好、领域知识、风格和安全标准与通用模型不同
  3. 过优化:代理奖励持续上升而真实质量先升后降,源于分布外的奖励失真
  4. Reward Hacking表现:冗长、迎合措辞、钻规则漏洞
  5. 缓解:KL约束、早停、奖励模型集成、长度惩罚、迭代重训

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题