ReLU 有缺陷为什么仍被广泛使用
哪些公司问过
答案要点
- 计算简单:前向取 max(0,x),反向梯度为 0 或 1,开销低
- 正半轴梯度恒为 1,缓解 sigmoid/tanh 饱和导致的梯度消失
- 稀疏激活带来一定正则效果,收敛通常更快
- 缺陷是负半轴梯度为 0 会导致神经元死亡,输出非零中心
- 可用 He 初始化、合适学习率、BN 或 Leaky ReLU、GELU 等变体缓解
易错点
- 认为 ReLU 彻底解决了梯度消失,深层网络仍需残差、归一化配合
- 把 ReLU 在 0 点不可导当成训练障碍,实际实现取次梯度即可
- 学习率过大时大量神经元死亡却没有监控激活比例
面试官常见追问
- 什么是 Dead ReLU,怎么产生的?
- Leaky ReLU 和 GELU 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。