奖励函数设计:字段提取、稀疏奖励与多样性
哪些公司问过
答案要点
- 字段提取奖励:格式合法性、字段级精确或部分匹配、完整性与幻觉惩罚
- 稀疏奖励改为按正确字段比例给部分分
- 多步任务可用过程奖励或势能函数塑形,后者理论上不改变最优策略
- 课程学习由易到难,缓解早期学习信号不足
- 多样性可用熵正则或组内相似度惩罚,并保留 KL 约束
易错点
- 只用整体全对作为奖励,信号过于稀疏
- 部分分设计不当,模型学会只填容易的字段
- 加多样性正则却去掉 KL 约束,导致输出发散
面试官常见追问
- 什么是 Reward Hacking,怎么缓解?
- 采样时如何保留随机性又保证安全?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。