从 Transformer 到现代大模型的结构演进
哪些公司问过
答案要点
- 架构从 Encoder-Decoder 统一到 Decoder-only,目标为自回归下一个 token 预测
- post-norm 改为 pre-norm,LayerNorm 换成 RMSNorm,提升深层训练稳定性
- FFN 用 SwiGLU,位置编码用 RoPE 并配合插值扩展长上下文
- 注意力从 MHA 演进到 MQA、GQA、MLA 以减小 KV Cache,并用 FlashAttention 加速
- MoE 稀疏激活扩大容量;训练流程增加指令微调、RLHF 与推理强化学习
易错点
- 说现代大模型抛弃了注意力和前馈结构,实际核心骨架仍是 Transformer
- 混淆 MQA 与 GQA:MQA 所有头共享一组 KV,GQA 按组共享
- 只说规模变大,讲不出具体结构组件的变化和动机
面试官常见追问
- 讲一下原始 Transformer 的架构。
- 为什么大模型普遍选 Decoder-only?
- pre-norm 为什么更稳定?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。