面试题库 › C++ / 后端 › ReLU 激活函数的形式、优缺点与变体

ReLU 激活函数的形式、优缺点与变体

难度 ★☆☆在 2 场真实面经中被问到 方向:C++ / 后端考点:激活函数

哪些公司问过

地平线1搜狐畅游1

常见岗位:计算机视觉、C/C++ 软件开发

答案要点

  1. 公式f(x)=max(0,x),正区间原样输出,负区间为0
  2. 导数:x>0为1,x<0为0,x=0处不可导,实现中通常取0
  3. 优点:计算简单、正区间梯度为1缓解梯度消失、输出具有稀疏性
  4. 缺点:Dead ReLU(负区间梯度为0神经元不再更新)、输出非零中心
  5. 变体:Leaky ReLU、PReLU、ELU,以及Transformer中常用的GELU

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题