常用归一化方法对比及适用场景
哪些公司问过
答案要点
- BatchNorm按通道在batch和空间维度统计,依赖较大batch,训练用batch统计量、推理用滑动平均统计量
- LayerNorm在单样本特征维度上归一化,与batch无关,训练推理一致,是Transformer的常用选择
- InstanceNorm按单样本单通道归一化,适合风格迁移;GroupNorm分组归一化,适合小batch的检测分割
- RMSNorm不减均值、只用均方根缩放,计算更省,效果接近LayerNorm,被LLaMA等大模型采用
易错点
- 误以为LayerNorm是对batch维度归一化,实际是对单样本的特征维度
- 忘记BN训练和推理行为不同,部署时没切到eval模式导致结果异常
- 把RMSNorm理解成只是去掉偏置,核心是不减均值、只按均方根缩放
面试官常见追问
- 讲讲RMSNorm?
- Pre-Norm和Post-Norm有什么区别?
- BN为什么在小batch下效果差?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。