面试题库 › 算法 / 大模型 › BatchNorm 与 LayerNorm 区别及为何用 LN

BatchNorm 与 LayerNorm 区别及为何用 LN

难度 ★★☆在 18 场真实面经中被问到 方向:算法 / 大模型考点:归一化方法

哪些公司问过

字节跳动5美团2小红书2小鹏1cvte1滴滴1阿里巴巴1百度1多益网络1

常见岗位:NLP / 语音、大模型算法、人工智能、AI 应用 / Agent 开发、推荐搜索广告

答案要点

  1. BN 沿 batch 维对每个特征或通道统计均值方差,推理用滑动平均,效果依赖 batch 大小
  2. LN 对单个样本的特征维统计,训练推理一致,不受 batch 大小和序列长度影响
  3. Transformer 用 LN 的理由:变长序列与 padding、小 batch、自回归逐 token 推理
  4. InstanceNorm 单样本单通道归一化,常用于风格迁移;GroupNorm 按通道分组,适合小 batch
  5. RMSNorm 只除以均方根、不减均值,计算更省,效果与 LN 接近,LLaMA 等模型采用

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题