面试题库 › 算法 / 大模型 › GRPO 目标函数推导与实现

GRPO 目标函数推导与实现

难度 ★★★在 6 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

爱奇艺2字节跳动1百度1Shopee1阶跃星辰1

常见岗位:大模型算法

答案要点

  1. 每个 prompt 采样 G 个回答,优势 = (r_i - 组均值) / 组标准差,无需 critic
  2. 沿用 PPO 裁剪目标 min(ρA, clip(ρ,1-ε,1+ε)A),ρ = πθ/πold
  3. 序列级优势赋给每个 token,先按回答内 token 平均再按组平均
  4. KL 惩罚直接加入损失,参考模型为冻结的 SFT 模型,防止策略漂移
  5. 适合可验证奖励的推理任务,节省 critic 的显存与训练开销

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题