RMSNorm 与 LayerNorm
哪些公司问过
答案要点
- LayerNorm:对特征维减均值、除以标准差,再乘 γ 加 β
- RMSNorm:不减均值,只除以均方根(RMS),再乘 γ,没有偏移 β
- 计算更省、速度更快,效果与 LayerNorm 接近
- 假设:重新中心化作用有限,缩放不变性才是关键
- LLaMA 等大模型广泛使用;需要保留均值信息时仍可用 LayerNorm
易错点
- 把 RMSNorm 说成也要减均值
- 说 RMSNorm 有偏移参数
- 认为 RMSNorm 比 LayerNorm 效果明显更好
- 混淆 Pre-Norm 与 Post-Norm
面试官常见追问
- RMSNorm 的公式是什么?
- 为什么 Transformer 用 LN 而不是 BN?
- RMSNorm 为什么更快?
- 归一化放在残差分支前还是后?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。