DeepSeek 在奖励建模上的做法(以 R1 为例)
哪些公司问过
答案要点
- R1 推理强化学习用规则加可验证的奖励,不用神经奖励模型
- 准确性奖励:数学看答案,代码用测试验证;格式奖励:思考放入规定标签
- 不用神经奖励模型:易被钻空子(奖励黑客),且增加训练和维护成本
- 算法用 GRPO:组内奖励归一化得到优势,不需要价值网络
- 开放式任务后续阶段引入偏好奖励模型
易错点
- 说 R1 完全没有用任何奖励模型
- 把规则奖励说成人工打分
- 没读过论文却泛泛编造细节
面试官常见追问
- 什么是奖励黑客?
- GRPO 相比 PPO 省在哪里?
- 规则奖励的局限是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。