面试题库 › 算法 / 大模型 › BatchNorm 在训练与推理时的区别

BatchNorm 在训练与推理时的区别

难度 ★☆☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:归一化方法

哪些公司问过

小鹏1

常见岗位:机器学习算法(泛)、NLP / 语音

答案要点

  1. 训练时 BN 用当前 batch 的均值方差归一化,并以动量更新 running_mean/running_var
  2. 推理时使用累积的 running 统计量且不再更新,单样本可推理、输出确定
  3. γ、β 是可学习参数,训练和推理都使用
  4. model.eval 同时关闭 Dropout;但不关闭梯度,验证需配合 no_grad
  5. 小 batch 下统计量不稳,可改用 GroupNorm、LayerNorm 或同步 BN

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题