手写 Transformer Block 与解码器伪代码
哪些公司问过
答案要点
- 多头注意力:线性投影 QKV,拆头,softmax(QK^T/√d_k)V,拼接后输出投影
- 每个子层都包残差连接和 LayerNorm,区分 Post-LN 与 Pre-LN
- FFN 为两层线性夹激活,隐藏维常取 4 倍模型维度
- 解码器含因果掩码自注意力、交叉注意力(Q 来自解码器,KV 来自编码器)和 FFN
- 输出端接线性层与 softmax,训练用 teacher forcing 并行计算
易错点
- reshape 拆头时维度顺序写错,忘记 transpose 到 (B,h,L,d_k)
- 交叉注意力把 Q 和 KV 的来源写反
- mask 加在 softmax 之后,或用 0 而不是很大的负数
面试官常见追问
- 参数是怎么更新的?
- 为什么要除以 √d_k?
- padding mask 和因果 mask 怎么实现?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。