Transformer 与大模型的基本结构
哪些公司问过
答案要点
- 编码器层 = 多头自注意力 + 前馈网络(FFN),各自带残差连接和层归一化
- 解码器层 = 带掩码的自注意力 + 交叉注意力 + FFN;只用解码器的结构(Decoder-only)是主流大模型的做法
- 自注意力公式:softmax(QKᵀ/√d_k)·V;除以 √d_k 避免点积过大使 softmax 饱和
- 多头注意力:多组 Q、K、V 投影并行,再拼接,捕捉不同子空间的关系
- 位置编码补充位置信息:原版是正弦余弦,主流大模型用 RoPE(旋转位置编码)
易错点
- 只背“编码器加解码器”,不知道主流大模型是 Decoder-only
- 写不出注意力公式,或说不清为什么除以 √d_k
- 忘了掩码:解码器自注意力不能看到后面的 token
- 忽略位置编码:注意力本身对顺序是不敏感的
面试官常见追问
- 为什么需要多头注意力?
- MHA、GQA、MLA 有什么区别?
- 训练和推理时 Decoder 有什么区别?
- Transformer 相比 RNN 有什么优势,为什么主流大模型是 Decoder-only?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。