ReLU 的设计动机、缺点与改进
哪些公司问过
答案要点
- 动机:缓解 Sigmoid、Tanh 饱和导致的梯度消失,正区间导数为 1
- 优点:计算简单、收敛快、带来稀疏激活
- 缺点:神经元死亡、输出非零均值、无上界、0 点不可导
- 改进:Leaky ReLU、PReLU、ELU 处理负区间,GELU、SiLU 更平滑
- 常见激活函数还有 Sigmoid、Tanh、Swish,大模型 FFN 常用 GELU 或 SwiGLU
易错点
- 说 ReLU 0 点不可导会导致训练失败,实际用次梯度即可
- 把神经元死亡和梯度消失混为一谈
- 以为 ReLU 输出是零均值
面试官常见追问
- 怎么缓解神经元死亡?
- ReLU 能完全解决梯度消失吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。