常见激活函数与选择
哪些公司问过
答案要点
- 激活函数引入非线性,没有它多层网络等价于线性变换
- Sigmoid、Tanh:易饱和、梯度消失;Sigmoid 输出 (0,1),Tanh 输出 (-1,1) 零中心
- ReLU:计算快,缓解梯度消失,但有神经元死亡;变体 Leaky ReLU、PReLU、ELU
- Swish、GELU 更平滑,常用于大模型;Softmax 用于多分类输出
- 选择:隐藏层优先 ReLU 系,二分类输出 Sigmoid,多分类 Softmax
易错点
- 说激活函数只是为了归一化
- 隐藏层使用 Sigmoid,造成梯度消失
- 混淆 Softmax 与 Sigmoid 的使用场景
- 不知道 ReLU 的神经元死亡问题
面试官常见追问
- 为什么需要激活函数?
- Sigmoid 函数的公式和曲线是什么样?
- ReLU 的神经元死亡是什么?
- GELU 和 ReLU 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。