面试题库 › 算法 / 大模型 › 交叉熵与 KL 散度的联系与区别

交叉熵与 KL 散度的联系与区别

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:损失函数

哪些公司问过

蚂蚁集团2

常见岗位:大模型算法

答案要点

  1. 交叉熵 = 真实分布的熵 + KL 散度,即 H(p,q) = H(p) + KL(p‖q)
  2. p 固定时两者梯度相同,分类任务可用 KL;one-hot 下两者数值相等
  3. KL 衡量分布差异、最小为零;两者都不对称
  4. PPO 中被优化的是 π 本身,其熵不是常数,KL 不能直接换成交叉熵
  5. 换成交叉熵会丢掉熵项,鼓励策略向参考模型高概率区收缩

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题