Sigmoid和ReLU有什么区别?ReLU解决了什么问题?
哪些公司问过
答案要点
- Sigmoid 输出 (0,1) 可作概率,ReLU 输出 [0,+∞)
- Sigmoid 导数最大 0.25 且易饱和,深层连乘导致梯度消失
- ReLU 正区间梯度为 1,缓解梯度消失,计算简单并带来稀疏性
- ReLU 存在神经元死亡问题,可用 Leaky ReLU、PReLU、GELU 等改进
- Sigmoid 输出非零中心,仍常用于二分类输出和门控
易错点
- 说 ReLU 彻底解决了梯度消失,实际只是在正区间缓解
- 忽略 ReLU 的神经元死亡问题
- 把 Sigmoid 导数最大值记成 1
面试官常见追问
- 什么是 Dead ReLU,怎么缓解?
- 为什么说 Sigmoid 输出非零中心不好?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。