面试题库 › 算法 / 大模型 › RLVR 的训练策略与 Verifier 的作用

RLVR 的训练策略与 Verifier 的作用

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

阶跃星辰1

常见岗位:AI 应用 / Agent 开发、大模型算法

答案要点

  1. RLVR 用规则或程序可验证的奖励(答案匹配、单元测试)替代偏好奖励模型
  2. 流程:同一 prompt 采样多条回答,Verifier 打分,GRPO 等算法用组内相对优势更新
  3. Verifier 的初衷:奖励客观、可扩展、降低 reward hacking 风险,减少人工标注
  4. 组内奖励全 0 或全 1 时优势为零,需要难度筛选、动态采样或补充格式/过程奖励
  5. Verifier 需处理答案等价判断、超时和沙箱隔离,本身的漏洞也可能被模型利用

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题