面试题库 › 算法 / 大模型 › 手写 Multi-Head Attention 的实现要点

手写 Multi-Head Attention 的实现要点

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:注意力机制

常见岗位:产品经理

答案要点

  1. Q/K/V 三个线性投影,d_k = d_model / h,需能整除
  2. reshape 为 (B, h, L, d_k),多个头并行计算
  3. 缩放点积:softmax(QK^T/√d_k)V,在 key 维度做 softmax
  4. mask 用 masked_fill 填负无穷,支持 padding 与因果 mask
  5. transpose 后 contiguous 再 view 回 (B, L, d_model),过输出投影

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题