面试题库 › 算法 / 大模型 › 手写 Softmax 与 Sigmoid 及数值稳定处理

手写 Softmax 与 Sigmoid 及数值稳定处理

难度 ★☆☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:训练优化与正则化

哪些公司问过

字节跳动1科大讯飞1

常见岗位:机器学习算法(泛)、计算机视觉

答案要点

  1. Softmax:exp(z_i) / Σ_j exp(z_j),输出和为 1 的概率分布
  2. 上溢:大数取 exp 得 inf,出现 NaN;全是很小的数时可能下溢导致除零
  3. 稳定写法:减去每行最大值,结果不变且分母 ≥ 1
  4. 接交叉熵时用 log-softmax(logsumexp 技巧),避免 log(0)
  5. Sigmoid 稳定写法:x ≥ 0 用 1/(1+e^−x),x < 0 用 e^x/(1+e^x)

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题