RL 奖励设计与防止奖励坍缩、Reward Hacking
哪些公司问过
答案要点
- 奖励需与最终目标对齐:结果奖励客观稀疏,过程奖励稠密但成本高、易被利用
- 组合格式奖励、规则奖励与奖励模型打分,统一尺度、实验校准权重
- 防 hacking:KL 惩罚、奖励模型集成或规则交叉校验、抽查高奖励样本、监控与独立指标是否背离
- 防奖励坍缩:奖励归一化、熵正则,监控熵与输出多样性
- 长回答需防长度投机,可做长度惩罚或归一化;多轮可分轮奖励再汇总
易错点
- 只用单一奖励模型且长期不更新,被策略找到漏洞
- 只看训练奖励曲线判断效果,不看独立评测
- 不同奖励尺度差异很大却直接相加
面试官常见追问
- 奖励坍缩和 reward hacking 有什么区别?
- 多轮对话怎么做 RL 微调?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。