面试题库 › 算法 / 大模型 › RL 奖励设计与防止奖励坍缩、Reward Hacking

RL 奖励设计与防止奖励坍缩、Reward Hacking

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

字节跳动2

常见岗位:大模型算法

答案要点

  1. 奖励需与最终目标对齐:结果奖励客观稀疏,过程奖励稠密但成本高、易被利用
  2. 组合格式奖励、规则奖励与奖励模型打分,统一尺度、实验校准权重
  3. 防 hacking:KL 惩罚、奖励模型集成或规则交叉校验、抽查高奖励样本、监控与独立指标是否背离
  4. 防奖励坍缩:奖励归一化、熵正则,监控熵与输出多样性
  5. 长回答需防长度投机,可做长度惩罚或归一化;多轮可分轮奖励再汇总

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题