交叉熵与 KL 散度的联系与区别
哪些公司问过
答案要点
- 交叉熵 = 真实分布的熵 + KL 散度,即 H(p,q) = H(p) + KL(p‖q)
- p 固定时两者梯度相同,分类任务可用 KL;one-hot 下两者数值相等
- KL 衡量分布差异、最小为零;两者都不对称
- PPO 中被优化的是 π 本身,其熵不是常数,KL 不能直接换成交叉熵
- 换成交叉熵会丢掉熵项,鼓励策略向参考模型高概率区收缩
易错点
- 说交叉熵和 KL 完全等价,忽略只有 p 固定时梯度才一致
- 忘记 KL 不对称,混淆前向 KL 与反向 KL
- 以为 PPO 里 KL 换成交叉熵无影响,忽略策略熵会被压低
面试官常见追问
- GRPO 的 KL 和 PPO 的 KL 有什么区别?
- KL 的 k1、k2、k3 估计有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。