面试题库 › 算法 / 大模型 › ReLU 有缺陷为什么仍被广泛使用

ReLU 有缺陷为什么仍被广泛使用

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:激活函数

哪些公司问过

Intel1

常见岗位:软件开发

答案要点

  1. 计算简单:前向取 max(0,x),反向梯度为 0 或 1,开销低
  2. 正半轴梯度恒为 1,缓解 sigmoid/tanh 饱和导致的梯度消失
  3. 稀疏激活带来一定正则效果,收敛通常更快
  4. 缺陷是负半轴梯度为 0 会导致神经元死亡,输出非零中心
  5. 可用 He 初始化、合适学习率、BN 或 Leaky ReLU、GELU 等变体缓解

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题