LLaMA 网络结构及 1/2/3 代演进
哪些公司问过
答案要点
- 结构:Decoder-only,Pre-norm RMSNorm、RoPE、SwiGLU 前馈
- 每层全连接:注意力 Q/K/V/O 共 4 个,SwiGLU 的 gate/up/down 共 3 个
- 全连接总数为 7 × 层数 + 1(LM head),embedding 是查表不算
- LLaMA2:上下文 2K 到 4K,大尺寸引入 GQA,发布 RLHF chat 模型
- LLaMA3:约 128K 词表,各尺寸用 GQA,数据规模大幅增加,3.1 支持 128K 上下文
易错点
- 说 LLaMA 用的是 LayerNorm 和 GELU
- 把 embedding 层也算作全连接层
- 说 LLaMA2 所有尺寸都用了 GQA,实际 7B、13B 仍是 MHA
面试官常见追问
- GPT 和 LLaMA 有什么区别?
- 你了解哪些前沿和国内的 LLM?推理能力的天花板在哪?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。