Softmax 与交叉熵的公式、求导与数值稳定
哪些公司问过
答案要点
- Softmax:p_i=exp(z_i)/Σexp(z_j);交叉熵:L=-Σ y_i·log p_i
- softmax+交叉熵对logits的梯度为p_i-y_i,sigmoid+BCE梯度为σ(z)-y
- 数值稳定:减去最大logit,或用logsumexp直接计算log-softmax
- 框架中常将softmax与交叉熵融合,兼顾稳定性与效率
- 二分类用 sigmoid 加 BCE,带 logits 的接口内部同样做了数值稳定处理
易错点
- 先算softmax再单独取log,概率下溢为0时得到负无穷
- 用 MSE 训练分类模型,饱和区梯度消失导致收敛慢
- 推导softmax导数时漏掉i≠j的交叉项-p_i·p_j
面试官常见追问
- 为什么减去最大值不改变softmax结果?
- 为什么分类常用交叉熵而不是MSE?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。