梯度消失与梯度爆炸
哪些公司问过
答案要点
- 根源:反向传播链式法则,梯度是多层导数的连乘
- 梯度消失:导数小于 1 连乘后指数衰减,如 sigmoid 导数最大 0.25,浅层几乎不更新
- 梯度爆炸:权重或导数大于 1 连乘后指数放大,参数更新过大,损失变为 NaN
- 解决:ReLU 类激活、Xavier/He 初始化、归一化(BN/LN)、残差连接
- LSTM/GRU 缓解 RNN 的梯度消失;梯度爆炸用梯度裁剪
易错点
- 说梯度消失只出现在 RNN 中
- 只说用 ReLU,不说初始化、归一化和残差
- 把梯度爆炸的解决办法说成换激活函数
- 忽略 ReLU 的神经元死亡问题
面试官常见追问
- 残差连接为什么能缓解梯度消失?
- 梯度裁剪是怎么做的?
- ReLU 为什么能缓解梯度消失?
- 怎么判断发生了梯度消失或爆炸?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。