面试题库 › 算法 / 大模型 › RL 训练中 KL 失控与熵崩溃如何处理

RL 训练中 KL 失控与熵崩溃如何处理

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:强化学习对齐

哪些公司问过

美团1百川智能1

常见岗位:大模型算法

答案要点

  1. KL 失控表现:KL 快速上升,输出变长、重复或格式崩坏
  2. 原因:学习率或奖励尺度过大、KL 系数过小、奖励被钻空子、训练与推理 logprob 不一致
  3. KL 处理:奖励归一化与截断、自适应 KL 系数、PPO 裁剪、按近似 KL 提前停止
  4. 熵崩溃指策略熵早期急降、探索丧失、性能停滞
  5. 熵崩溃应对:熵正则、提高采样温度、放宽裁剪上界如 DAPO 的 Clip-Higher

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题