手写 LayerNorm 的实现要点
答案要点
- 公式 y=(x-μ)/√(σ²+ε)·γ+β,μ、σ² 在最后一维(特征维)上计算
- mean/var 使用 keepdim=True 便于广播,方差用有偏估计(unbiased=False)
- γ 初始化为 1、β 初始化为 0,注册为可学习参数
- ε 加在根号内防止除零,PyTorch 默认 1e-5
- 与 nn.LayerNorm 对比输出验证正确性,混合精度下统计量宜用 float32
易错点
- 在 batch 维上求均值,写成了 BatchNorm
- 方差用无偏估计,与官方实现结果不一致
- 把 ε 加在根号外,或忘记 keepdim 导致广播出错
面试官常见追问
- RMSNorm 和 LayerNorm 有什么区别?
- Pre-LN 和 Post-LN 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。