面试题库 › 算法 / 大模型 › ReLU 的设计动机、缺点与改进

ReLU 的设计动机、缺点与改进

难度 ★☆☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:激活函数

哪些公司问过

美团1字节跳动1宁德时代1

常见岗位:推荐搜索广告、人工智能

答案要点

  1. 动机:缓解 Sigmoid、Tanh 饱和导致的梯度消失,正区间导数为 1
  2. 优点:计算简单、收敛快、带来稀疏激活
  3. 缺点:神经元死亡、输出非零均值、无上界、0 点不可导
  4. 改进:Leaky ReLU、PReLU、ELU 处理负区间,GELU、SiLU 更平滑
  5. 常见激活函数还有 Sigmoid、Tanh、Swish,大模型 FFN 常用 GELU 或 SwiGLU

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题