KL 散度和交叉熵的区别与联系
哪些公司问过
答案要点
- 交叉熵 H(p,q)=-Σp log q,KL(p||q)=Σp log(p/q)
- H(p,q)=H(p)+KL(p||q),p 固定时两者优化等价
- one-hot 标签下 H(p)=0,交叉熵等于 KL,即 -log q(正确类)
- KL 非负、不对称,不满足距离的三角不等式
- 分类用交叉熵;蒸馏、VAE、RLHF 的策略约束等衡量分布差异时用 KL
易错点
- 把 KL 散度当成对称的距离
- 认为交叉熵和 KL 在任何情况下数值都相等,只有 H(p) 为 0 时才相等
- 算 KL 时 q 有 0 概率而 p 不为 0,会得到无穷大,需要平滑或加 eps
面试官常见追问
- KL(p||q) 和 KL(q||p) 有什么区别?
- 分类为什么用交叉熵而不用 MSE?
- 知识蒸馏里用 KL 和用软标签交叉熵有区别吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。