面试题库 › 算法 / 大模型 › DAPO 为何去掉 KL 惩罚及 GRPO 后期优化

DAPO 为何去掉 KL 惩罚及 GRPO 后期优化

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

高德2

常见岗位:大模型算法

答案要点

  1. 长链推理训练希望策略显著偏离初始模型,KL 约束会限制这种能力提升
  2. DAPO 使用规则可验证奖励,相比学习的奖励模型更不易被 hack,降低了对 KL 的需求
  3. Clip-Higher:解耦上下裁剪阈值并提高上限,缓解熵塌缩、保持探索
  4. 动态采样:过滤组内奖励全相同的样本,保证有效梯度
  5. token 级策略梯度损失与超长回答软惩罚,进一步稳定长序列训练

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题