RLVR 的训练策略与 Verifier 的作用
哪些公司问过
答案要点
- RLVR 用规则或程序可验证的奖励(答案匹配、单元测试)替代偏好奖励模型
- 流程:同一 prompt 采样多条回答,Verifier 打分,GRPO 等算法用组内相对优势更新
- Verifier 的初衷:奖励客观、可扩展、降低 reward hacking 风险,减少人工标注
- 组内奖励全 0 或全 1 时优势为零,需要难度筛选、动态采样或补充格式/过程奖励
- Verifier 需处理答案等价判断、超时和沙箱隔离,本身的漏洞也可能被模型利用
易错点
- 把 RLVR 当成必须有奖励模型的 RLHF 变体,其核心是程序可验证的奖励
- 只给 0/1 结果奖励却不做难度筛选,导致大量组无梯度
- 认为规则奖励不会被 hacking,忽略 Verifier 自身漏洞
面试官常见追问
- GRPO 训练中大量样本 reward 为 0 怎么处理?
- 如何侦测和定位 reward hacking?
- Pass@1 和 Pass@K 怎么综合解读?
- PPO 和 GRPO 在价值估计上有什么关键区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。