Pre-LN 与 Post-LN 的区别和优劣
哪些公司问过
答案要点
- Post-LN:x = LN(x + F(x)),归一化在残差相加之后
- Pre-LN:x = x + F(LN(x)),归一化在子层输入前,末尾通常再加一层 LN
- Pre-LN 梯度沿恒等路径直接回传,训练稳定,可减少或去掉 warmup
- Post-LN 深层易发散,需 warmup 和较小学习率,但训成后效果有时略优
- 大模型多用 Pre-LN/Pre-RMSNorm;DeepNorm 等尝试兼顾两者优点
易错点
- 把两种结构的公式写反
- 认为 Pre-LN 在所有情况下效果都更好
- 忘记 Pre-LN 通常需要在最后一层后加一个额外的 LN
面试官常见追问
- 为什么 Post-LN 需要 warmup?
- Pre-LN 有什么缺点?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。