GRPO 重要性采样的意义及 GSPO 对 MoE 的改进
哪些公司问过
答案要点
- 重要性采样:用 π_θ/π_old 修正旧策略采样与当前策略的分布差异,支持一批数据多步更新
- clip 限制比值范围,近似信赖域,防止策略更新过大
- GRPO 的比值是 token 级而奖励是序列级,存在粒度不匹配,长序列下方差大
- MoE 中路由随参数变化,新旧策略 token 概率波动大,导致裁剪频繁、训练不稳定
- GSPO 采用长度归一化的序列级重要性比值和序列级裁剪,提升 MoE RL 训练稳定性
易错点
- 把重要性采样理解成为了提高采样效率而随机挑样本,本质是修正分布差异
- 认为 GSPO 是按专家分组优化,实际改动是把比值和裁剪从 token 级换成序列级
- 忽略长度归一化,序列级比值直接连乘会数值爆炸或消失
面试官常见追问
- KL 散度系数等超参数是如何调优的?
- 为什么 MoE 做 RL 时负载均衡也很关键?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。