RL 训练中 KL 失控与熵崩溃如何处理
哪些公司问过
美团1百川智能1
答案要点
- KL 失控表现:KL 快速上升,输出变长、重复或格式崩坏
- 原因:学习率或奖励尺度过大、KL 系数过小、奖励被钻空子、训练与推理 logprob 不一致
- KL 处理:奖励归一化与截断、自适应 KL 系数、PPO 裁剪、按近似 KL 提前停止
- 熵崩溃指策略熵早期急降、探索丧失、性能停滞
- 熵崩溃应对:熵正则、提高采样温度、放宽裁剪上界如 DAPO 的 Clip-Higher
易错点
- 一看到 KL 升高就只调大 KL 系数,不排查奖励钻空子和数值问题
- 把熵越低理解为模型越收敛越好,忽视探索能力丧失
- 只看训练奖励曲线,不看独立评测和样本质量
面试官常见追问
- 熵崩溃和奖励被钻空子是什么关系?
- RL 对齐中奖励函数设计有哪些安全考量?
- 为什么推理和训练的 logprob 不一致会导致 KL 异常?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。