GRPO 目标函数推导与实现
哪些公司问过
答案要点
- 每个 prompt 采样 G 个回答,优势 = (r_i - 组均值) / 组标准差,无需 critic
- 沿用 PPO 裁剪目标 min(ρA, clip(ρ,1-ε,1+ε)A),ρ = πθ/πold
- 序列级优势赋给每个 token,先按回答内 token 平均再按组平均
- KL 惩罚直接加入损失,参考模型为冻结的 SFT 模型,防止策略漂移
- 适合可验证奖励的推理任务,节省 critic 的显存与训练开销
易错点
- 说 GRPO 不需要参考模型,实际仍用参考模型计算 KL
- 把 KL 项写成像 PPO 那样加到奖励里
- 以为 loss 数值为 0 就是没有梯度
面试官常见追问
- GRPO 训练时 loss 变成 0 怎么办?
- 序列级损失如何分配到每个 token?
- 除了 GRPO,还了解哪些变体?
- PPO 的四个模型分别是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。