面试题库 › 算法 / 大模型 › Transformer 与大模型的基本结构

Transformer 与大模型的基本结构

难度 ★★★在 158 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

字节跳动30阿里巴巴11百度9拼多多8腾讯7小红书7京东5小米4美团4快手4

常见岗位:大模型算法、AI 应用 / Agent 开发、NLP / 语音、推荐搜索广告、计算机视觉

答案要点

  1. 编码器层 = 多头自注意力 + 前馈网络(FFN),各自带残差连接和层归一化
  2. 解码器层 = 带掩码的自注意力 + 交叉注意力 + FFN;只用解码器的结构(Decoder-only)是主流大模型的做法
  3. 自注意力公式:softmax(QKᵀ/√d_k)·V;除以 √d_k 避免点积过大使 softmax 饱和
  4. 多头注意力:多组 Q、K、V 投影并行,再拼接,捕捉不同子空间的关系
  5. 位置编码补充位置信息:原版是正弦余弦,主流大模型用 RoPE(旋转位置编码)

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题