推导 LayerNorm 对梯度消失的影响
答案要点
- 前向:x̂ = (x − μ)/σ,y = γ·x̂ + β
- 雅可比为 (1/σ)·(I − 11^T/d − x̂x̂^T/d)
- 输入整体放大 α 倍时输出不变,梯度缩小 α 倍,自动抵消尺度
- 投影项去除平移和缩放方向的分量,稳定梯度方向
- LN 稳定激活尺度,但深层梯度回传仍依赖残差连接
易错点
- 认为 LN 单独就能彻底解决梯度消失
- 推导时漏掉均值和方差也依赖 x 的项
- 把 LN 和 BN 的归一化维度说反
面试官常见追问
- Pre-LN 和 Post-LN 在梯度上有什么区别?
- LayerNorm 和 BatchNorm 区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。