GRPO 的原理与改进
哪些公司问过
答案要点
- GRPO 是 Group Relative Policy Optimization,最大改进是去掉价值网络(critic)
- 对同一提示采样一组输出,用组内相对奖励估计优势
- 优势 A = (该输出奖励 - 组内奖励均值) / 组内标准差
- 目标函数沿用 PPO 的裁剪项,并加上与参考模型的 KL 约束
- GAE 用 λ 对多步 TD 误差指数加权,平衡偏差与方差;GRPO 省显存,常配合规则奖励
易错点
- 把 GRPO 说成没有 KL 约束
- 说 GRPO 仍然需要价值网络
- 分不清优势的计算方式
- 把 GAE 和 GRPO 的优势估计混为一谈
面试官常见追问
- GRPO 是 on-policy 还是 off-policy,为什么?
- GRPO 的短板有哪些?
- 奖励函数怎么设计?
- GAE 是在做什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。