Pre-Norm 与 Post-Norm 的区别及层内顺序
哪些公司问过
答案要点
- Post-Norm:LN(x + Sublayer(x)),原始 Transformer 采用
- Pre-Norm:x + Sublayer(LN(x)),最后再接一个 LN
- Post-Norm 深层不稳定、依赖 warmup,但效果上限可能更高
- Pre-Norm 梯度稳定、易训练深层,但可能削弱有效深度;大模型多用 Pre-Norm + RMSNorm
- 层内顺序:注意力(QKV 投影 → 缩放点积 softmax → 拼接 → 输出投影);FFN(线性 → 激活 → 线性)
易错点
- 把两个公式写反:Pre-Norm 是归一化在子层输入处
- 忘记 Pre-Norm 结构最后需要额外的 LayerNorm
- 说 Pre-Norm 全面优于 Post-Norm:它主要是训练更稳定,效果并非总是更好
面试官常见追问
- RMSNorm 和 LayerNorm 有什么区别?
- 有没有兼顾两者优点的方法?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。