面试题库 › 算法 / 大模型 › 手写 LayerNorm 的实现要点

手写 LayerNorm 的实现要点

难度 ★☆☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:归一化方法

常见岗位:AI 应用 / Agent 开发、NLP / 语音

答案要点

  1. 公式 y=(x-μ)/√(σ²+ε)·γ+β,μ、σ² 在最后一维(特征维)上计算
  2. mean/var 使用 keepdim=True 便于广播,方差用有偏估计(unbiased=False)
  3. γ 初始化为 1、β 初始化为 0,注册为可学习参数
  4. ε 加在根号内防止除零,PyTorch 默认 1e-5
  5. 与 nn.LayerNorm 对比输出验证正确性,混合精度下统计量宜用 float32

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题