DAPO 为何去掉 KL 惩罚及 GRPO 后期优化
哪些公司问过
答案要点
- 长链推理训练希望策略显著偏离初始模型,KL 约束会限制这种能力提升
- DAPO 使用规则可验证奖励,相比学习的奖励模型更不易被 hack,降低了对 KL 的需求
- Clip-Higher:解耦上下裁剪阈值并提高上限,缓解熵塌缩、保持探索
- 动态采样:过滤组内奖励全相同的样本,保证有效梯度
- token 级策略梯度损失与超长回答软惩罚,进一步稳定长序列训练
易错点
- 说 DAPO 去掉 KL 是因为组内归一化可以替代 KL,原因主要是任务特性与可验证奖励
- 认为任何 RL 场景都可以去掉 KL,基于奖励模型的 RLHF 仍常需要
- 只说去掉 KL,不提 Clip-Higher、动态采样等配套机制
面试官常见追问
- GRPO 训练到后期提升明显变慢,可以怎么优化?
- 去掉 KL 后怎么防止训练崩溃?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。