面试题库 › 算法 / 大模型 › LLaMA 相比原始 Transformer 的结构改动与 RMSNorm

LLaMA 相比原始 Transformer 的结构改动与 RMSNorm

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

小米1

常见岗位:NLP / 语音

答案要点

  1. 整体为 Decoder-only 结构,用 Pre-Norm 替代原始 Transformer 的 Post-LN,输出头前再加一层归一化
  2. 归一化用 RMSNorm:y = x / sqrt(mean(x²) + eps) · g,不减均值、无偏置项
  3. 位置编码用 RoPE,对 Q、K 按位置做旋转,注意力分数只依赖相对距离
  4. FFN 用 SwiGLU:(Swish(xW1) ⊙ xW3)W2,三个矩阵,隐藏维度约为 8/3·d
  5. 后续版本引入 GQA,多个 Query 头共享一组 K/V,降低推理时 KV Cache 占用

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题