手写 Multi-Head Attention 的实现要点
答案要点
- Q/K/V 三个线性投影,d_k = d_model / h,需能整除
- reshape 为 (B, h, L, d_k),多个头并行计算
- 缩放点积:softmax(QK^T/√d_k)V,在 key 维度做 softmax
- mask 用 masked_fill 填负无穷,支持 padding 与因果 mask
- transpose 后 contiguous 再 view 回 (B, L, d_model),过输出投影
易错点
- transpose 后直接 view 报错,忘记 contiguous
- softmax 维度写错,应在 key 维度即最后一维
- mask 位置填 0 而不是负无穷,softmax 后仍有权重
- 整行都被 mask 时 softmax 出现 NaN,需要特殊处理
面试官常见追问
- 为什么要除以根号 d_k?
- 因果 mask 怎么构造?
- 为什么 view 前要 contiguous?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。