手写 Softmax 与 Sigmoid 及数值稳定处理
哪些公司问过
答案要点
- Softmax:exp(z_i) / Σ_j exp(z_j),输出和为 1 的概率分布
- 上溢:大数取 exp 得 inf,出现 NaN;全是很小的数时可能下溢导致除零
- 稳定写法:减去每行最大值,结果不变且分母 ≥ 1
- 接交叉熵时用 log-softmax(logsumexp 技巧),避免 log(0)
- Sigmoid 稳定写法:x ≥ 0 用 1/(1+e^−x),x < 0 用 e^x/(1+e^x)
易错点
- 减最大值时用了全局最大值而不是按行(样本)求,批量数据中不同样本相互影响
- 求 sum 时没保持维度,广播出错
- 先算 softmax 再取 log,概率为 0 时得到 -inf
面试官常见追问
- Softmax 的梯度是什么?
- Sigmoid 和 Softmax 什么关系?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。