面试题库 › 算法 / 大模型 › 推导 LayerNorm 对梯度消失的影响

推导 LayerNorm 对梯度消失的影响

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:归一化方法

常见岗位:产品经理

答案要点

  1. 前向:x̂ = (x − μ)/σ,y = γ·x̂ + β
  2. 雅可比为 (1/σ)·(I − 11^T/d − x̂x̂^T/d)
  3. 输入整体放大 α 倍时输出不变,梯度缩小 α 倍,自动抵消尺度
  4. 投影项去除平移和缩放方向的分量,稳定梯度方向
  5. LN 稳定激活尺度,但深层梯度回传仍依赖残差连接

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题