面试题库 › 算法 / 大模型 › Pre-Norm 与 Post-Norm 的区别及层内顺序

Pre-Norm 与 Post-Norm 的区别及层内顺序

难度 ★★☆在 5 场真实面经中被问到 方向:算法 / 大模型考点:Transformer架构

哪些公司问过

字节跳动3阿里巴巴1阿里云1

常见岗位:大模型算法、机器学习算法(泛)、NLP / 语音

答案要点

  1. Post-Norm:LN(x + Sublayer(x)),原始 Transformer 采用
  2. Pre-Norm:x + Sublayer(LN(x)),最后再接一个 LN
  3. Post-Norm 深层不稳定、依赖 warmup,但效果上限可能更高
  4. Pre-Norm 梯度稳定、易训练深层,但可能削弱有效深度;大模型多用 Pre-Norm + RMSNorm
  5. 层内顺序:注意力(QKV 投影 → 缩放点积 softmax → 拼接 → 输出投影);FFN(线性 → 激活 → 线性)

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题