面试题库 › 算法 / 大模型 › 手写 Transformer Block 与解码器伪代码

手写 Transformer Block 与解码器伪代码

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:Transformer架构

哪些公司问过

字节跳动1阿里云1腾讯音乐1

常见岗位:机器学习算法(泛)、推荐搜索广告

答案要点

  1. 多头注意力:线性投影 QKV,拆头,softmax(QK^T/√d_k)V,拼接后输出投影
  2. 每个子层都包残差连接和 LayerNorm,区分 Post-LN 与 Pre-LN
  3. FFN 为两层线性夹激活,隐藏维常取 4 倍模型维度
  4. 解码器含因果掩码自注意力、交叉注意力(Q 来自解码器,KV 来自编码器)和 FFN
  5. 输出端接线性层与 softmax,训练用 teacher forcing 并行计算

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题