面试题库 › 算法 / 大模型 › Sigmoid和ReLU有什么区别?ReLU解决了什么问题?

Sigmoid和ReLU有什么区别?ReLU解决了什么问题?

难度 ★☆☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:激活函数

哪些公司问过

字节跳动1阿里巴巴1360公司1

常见岗位:机器学习算法(泛)、计算机视觉、NLP / 语音

答案要点

  1. Sigmoid 输出 (0,1) 可作概率,ReLU 输出 [0,+∞)
  2. Sigmoid 导数最大 0.25 且易饱和,深层连乘导致梯度消失
  3. ReLU 正区间梯度为 1,缓解梯度消失,计算简单并带来稀疏性
  4. ReLU 存在神经元死亡问题,可用 Leaky ReLU、PReLU、GELU 等改进
  5. Sigmoid 输出非零中心,仍常用于二分类输出和门控

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题