BatchNorm 在训练与推理时的区别
哪些公司问过
答案要点
- 训练时 BN 用当前 batch 的均值方差归一化,并以动量更新 running_mean/running_var
- 推理时使用累积的 running 统计量且不再更新,单样本可推理、输出确定
- γ、β 是可学习参数,训练和推理都使用
- model.eval 同时关闭 Dropout;但不关闭梯度,验证需配合 no_grad
- 小 batch 下统计量不稳,可改用 GroupNorm、LayerNorm 或同步 BN
易错点
- 推理时忘记调用 model.eval,结果随 batch 组成变化
- 以为 eval 会关闭梯度计算
- batch size 为 1 时在训练模式下用 BN,方差估计失效
面试官常见追问
- 训练和推理统计量不一致会带来什么问题?
- 为什么 Transformer 常用 LayerNorm 而不是 BN?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。