强化学习奖励函数如何设计
哪些公司问过
答案要点
- 可验证任务用规则奖励:答案匹配、单测、格式、长度等
- 主观开放任务用奖励模型或大模型评审,通常与规则混合
- 长对话结合结果奖励与按轮过程奖励,缓解信号稀疏和归因困难
- 多目标先归一化再加权,安全等底线可设为硬约束
- 权重依据验证集指标和bad case迭代调整,避免单一目标主导
易错点
- 只用奖励模型而不加规则校验,容易被模型找到漏洞
- 多项奖励不做归一化直接相加,量级大的目标主导训练
- 只盯训练奖励上涨,不抽检样本,没发现奖励作弊
面试官常见追问
- 遇到Reward Hacking怎么解决?
- 如何避免奖励信号坍缩、失去区分度?
- 强化学习是优化端到端结果还是单步决策?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。