ReLU 激活函数的形式、优缺点与变体
哪些公司问过
答案要点
- 公式f(x)=max(0,x),正区间原样输出,负区间为0
- 导数:x>0为1,x<0为0,x=0处不可导,实现中通常取0
- 优点:计算简单、正区间梯度为1缓解梯度消失、输出具有稀疏性
- 缺点:Dead ReLU(负区间梯度为0神经元不再更新)、输出非零中心
- 变体:Leaky ReLU、PReLU、ELU,以及Transformer中常用的GELU
易错点
- 说ReLU完全解决了梯度消失:负区间梯度为0,深层网络仍需初始化、BN、残差配合
- 把Leaky ReLU的斜率说成可学习参数,可学习的是PReLU
- 忽略零点不可导的处理,实现中一般按次梯度取0
面试官常见追问
- 怎么缓解 Dead ReLU?
- 为什么 ReLU 比 sigmoid 更能缓解梯度消失?
- GELU 和 ReLU 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。