面试题库 › 算法 / 大模型 › 梯度消失与梯度爆炸

梯度消失与梯度爆炸

难度 ★★☆在 19 场真实面经中被问到 方向:算法 / 大模型考点:训练优化与正则化

哪些公司问过

字节跳动3阿里巴巴2滴滴1快手1华为1百度1携程13601阿里云1招银网络科技1

常见岗位:机器学习算法(泛)、计算机视觉、NLP / 语音、推理部署与加速、大模型算法

答案要点

  1. 根源:反向传播链式法则,梯度是多层导数的连乘
  2. 梯度消失:导数小于 1 连乘后指数衰减,如 sigmoid 导数最大 0.25,浅层几乎不更新
  3. 梯度爆炸:权重或导数大于 1 连乘后指数放大,参数更新过大,损失变为 NaN
  4. 解决:ReLU 类激活、Xavier/He 初始化、归一化(BN/LN)、残差连接
  5. LSTM/GRU 缓解 RNN 的梯度消失;梯度爆炸用梯度裁剪

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题