面试题库 › 算法 / 大模型 › 从 Transformer 到现代大模型的结构演进

从 Transformer 到现代大模型的结构演进

难度 ★★☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

字节跳动3米哈游1

常见岗位:大模型算法、推荐搜索广告

答案要点

  1. 架构从 Encoder-Decoder 统一到 Decoder-only,目标为自回归下一个 token 预测
  2. post-norm 改为 pre-norm,LayerNorm 换成 RMSNorm,提升深层训练稳定性
  3. FFN 用 SwiGLU,位置编码用 RoPE 并配合插值扩展长上下文
  4. 注意力从 MHA 演进到 MQA、GQA、MLA 以减小 KV Cache,并用 FlashAttention 加速
  5. MoE 稀疏激活扩大容量;训练流程增加指令微调、RLHF 与推理强化学习

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题