GPT-1/2 与 LLaMA-1/2 的结构异同
哪些公司问过
答案要点
- 共同点:GPT-1/2、LLaMA-1/2 均为 Decoder-only 自回归语言模型
- GPT-1:12 层、768 维、约 117M 参数,预训练 + 任务微调范式
- GPT-2:Pre-LN 并加最终 LN,上下文 1024,字节级 BPE,最大 1.5B,强调零样本
- LLaMA-1:RMSNorm 前置归一化、SwiGLU、RoPE,上下文 2048
- LLaMA-2:上下文 4096,约 2T token,较大模型用 GQA,Chat 版经 SFT 和 RLHF 对齐
易错点
- 说 LLaMA-2 所有尺寸都用了 GQA,论文中是 34B 和 70B 使用
- 把 GPT-2 的改进只说成“更大”,忽略 Pre-LN 等结构调整
- 混淆 LLaMA-2 基座模型和经过 RLHF 的 Chat 模型
面试官常见追问
- 为什么 LLaMA 用 RMSNorm 替代 LayerNorm?
- GQA 有什么好处?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。