面试题库 › 算法 / 大模型 › 常见激活函数与选择

常见激活函数与选择

难度 ★★☆在 10 场真实面经中被问到 方向:算法 / 大模型考点:激活函数

哪些公司问过

字节跳动3腾讯2百度2华为1恒生电子1

常见岗位:机器学习算法(泛)、计算机视觉、AI 应用 / Agent 开发、NLP / 语音、推荐搜索广告

答案要点

  1. 激活函数引入非线性,没有它多层网络等价于线性变换
  2. Sigmoid、Tanh:易饱和、梯度消失;Sigmoid 输出 (0,1),Tanh 输出 (-1,1) 零中心
  3. ReLU:计算快,缓解梯度消失,但有神经元死亡;变体 Leaky ReLU、PReLU、ELU
  4. Swish、GELU 更平滑,常用于大模型;Softmax 用于多分类输出
  5. 选择:隐藏层优先 ReLU 系,二分类输出 Sigmoid,多分类 Softmax

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题