面试题库 › 算法 / 大模型 › 交叉熵损失函数的公式与含义

交叉熵损失函数的公式与含义

难度 ★★☆在 12 场真实面经中被问到 方向:算法 / 大模型考点:损失函数

哪些公司问过

腾讯2字节跳动2京东2拼多多1小红书13601虾皮1阿里云1招银网络科技1

常见岗位:推荐搜索广告、机器学习算法(泛)、计算机视觉、大模型算法、NLP / 语音

答案要点

  1. 二分类:L = -[y·log(p) + (1-y)·log(1-p)],y 为 0 或 1,p 为预测正类概率
  2. 多分类:L = -Σ y_i·log(p_i),p 来自 softmax,one-hot 时只剩真实类别一项
  3. 一般形式:H(p,q) = -Σ p(x)·log q(x),p 是真实分布,q 是预测分布
  4. 等价于对数似然的负值,最小化交叉熵就是极大似然估计
  5. 配合 sigmoid 或 softmax 梯度更好,比平方误差收敛更快

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题