BatchNorm 与 LayerNorm 区别及为何用 LN
哪些公司问过
答案要点
- BN 沿 batch 维对每个特征或通道统计均值方差,推理用滑动平均,效果依赖 batch 大小
- LN 对单个样本的特征维统计,训练推理一致,不受 batch 大小和序列长度影响
- Transformer 用 LN 的理由:变长序列与 padding、小 batch、自回归逐 token 推理
- InstanceNorm 单样本单通道归一化,常用于风格迁移;GroupNorm 按通道分组,适合小 batch
- RMSNorm 只除以均方根、不减均值,计算更省,效果与 LN 接近,LLaMA 等模型采用
易错点
- 把 LN 说成对 batch 内同一位置归一化,搞混统计维度
- 推理时 BN 忘记切换到 eval 模式,仍使用当前 batch 统计量
- 以为 LN 没有可学习参数,实际同样有 γ 和 β
面试官常见追问
- 什么时候用 BatchNorm,什么时候用 LayerNorm?
- Dropout 的本质是什么?
- Pre-LN 和 Post-LN 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。