Softmax 的求导
哪些公司问过
答案要点
- s_i = exp(z_i) / Σ exp(z_j)
- i 等于 j 时,∂s_i/∂z_j = s_i(1 - s_i)
- i 不等于 j 时,∂s_i/∂z_j = -s_i s_j
- 雅可比矩阵为 diag(s) - s sᵀ,统一写法 s_i(δ_ij - s_j)
- 配合交叉熵,损失对 z_i 的梯度化简为 s_i - y_i
易错点
- 把对角线和非对角线的符号搞错
- 不知道和交叉熵结合后梯度会简化
- 忘了数值稳定的处理
面试官常见追问
- 为什么 softmax 加交叉熵的梯度这么简单?
- softmax 为什么要减去最大值?
- softmax 的雅可比矩阵有什么性质?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。