LLaMA 相比原始 Transformer 的结构改动与 RMSNorm
哪些公司问过
答案要点
- 整体为 Decoder-only 结构,用 Pre-Norm 替代原始 Transformer 的 Post-LN,输出头前再加一层归一化
- 归一化用 RMSNorm:y = x / sqrt(mean(x²) + eps) · g,不减均值、无偏置项
- 位置编码用 RoPE,对 Q、K 按位置做旋转,注意力分数只依赖相对距离
- FFN 用 SwiGLU:(Swish(xW1) ⊙ xW3)W2,三个矩阵,隐藏维度约为 8/3·d
- 后续版本引入 GQA,多个 Query 头共享一组 K/V,降低推理时 KV Cache 占用
易错点
- 把 RMSNorm 说成去掉缩放,实际去掉的是减均值和偏置,保留缩放参数 g
- 说 LLaMA 所有版本都用 GQA,第一代 LLaMA 用的是标准多头注意力
- 把 SwiGLU 的隐藏维度写成 4d,LLaMA 为保持参数量调整为约 8/3·d
面试官常见追问
- Pre-Norm 和 Post-Norm 有什么区别?
- 为什么 RMSNorm 可以去掉减均值?
- RoPE 相比绝对位置编码有什么好处?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。