面试题库 › 算法 / 大模型 › KL 散度和交叉熵的区别与联系

KL 散度和交叉熵的区别与联系

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:损失函数

哪些公司问过

小红书1

常见岗位:人工智能

答案要点

  1. 交叉熵 H(p,q)=-Σp log q,KL(p||q)=Σp log(p/q)
  2. H(p,q)=H(p)+KL(p||q),p 固定时两者优化等价
  3. one-hot 标签下 H(p)=0,交叉熵等于 KL,即 -log q(正确类)
  4. KL 非负、不对称,不满足距离的三角不等式
  5. 分类用交叉熵;蒸馏、VAE、RLHF 的策略约束等衡量分布差异时用 KL

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题