交叉熵损失函数的公式与含义
哪些公司问过
答案要点
- 二分类:L = -[y·log(p) + (1-y)·log(1-p)],y 为 0 或 1,p 为预测正类概率
- 多分类:L = -Σ y_i·log(p_i),p 来自 softmax,one-hot 时只剩真实类别一项
- 一般形式:H(p,q) = -Σ p(x)·log q(x),p 是真实分布,q 是预测分布
- 等价于对数似然的负值,最小化交叉熵就是极大似然估计
- 配合 sigmoid 或 softmax 梯度更好,比平方误差收敛更快
易错点
- 把 y 与 p 的位置写反
- 忘了负号
- softmax 实现不做数值稳定处理
- 不知道交叉熵与对数似然的关系
面试官常见追问
- 手写 softmax 的公式?
- 平方差损失的公式是什么,为什么不适合分类?
- 损失函数为什么常用平方形式?
- 实现交叉熵时要注意什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。