面试题库 › 算法 / 大模型 › Pre-LN 与 Post-LN 的区别和优劣

Pre-LN 与 Post-LN 的区别和优劣

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

快手1

常见岗位:大模型算法

答案要点

  1. Post-LN:x = LN(x + F(x)),归一化在残差相加之后
  2. Pre-LN:x = x + F(LN(x)),归一化在子层输入前,末尾通常再加一层 LN
  3. Pre-LN 梯度沿恒等路径直接回传,训练稳定,可减少或去掉 warmup
  4. Post-LN 深层易发散,需 warmup 和较小学习率,但训成后效果有时略优
  5. 大模型多用 Pre-LN/Pre-RMSNorm;DeepNorm 等尝试兼顾两者优点

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题