面试题库 › 算法 / 大模型 › GRPO 的原理与改进

GRPO 的原理与改进

难度 ★★★在 9 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

字节跳动3百度3美团1虾皮1

常见岗位:大模型算法、NLP / 语音、推荐搜索广告

答案要点

  1. GRPO 是 Group Relative Policy Optimization,最大改进是去掉价值网络(critic)
  2. 对同一提示采样一组输出,用组内相对奖励估计优势
  3. 优势 A = (该输出奖励 - 组内奖励均值) / 组内标准差
  4. 目标函数沿用 PPO 的裁剪项,并加上与参考模型的 KL 约束
  5. GAE 用 λ 对多步 TD 误差指数加权,平衡偏差与方差;GRPO 省显存,常配合规则奖励

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题