面试题库 › 算法 / 大模型 › 手写多头注意力与交叉注意力

手写多头注意力与交叉注意力

难度 ★★☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:注意力机制

哪些公司问过

百度2腾讯1

常见岗位:大模型算法、AI 应用 / Agent 开发

答案要点

  1. Q/K/V线性映射后拆成h个头,形状B×h×T×d_k,d_k=d_model/h
  2. 分数为QK^T/√d_k,缩放防止softmax饱和
  3. softmax前施加padding mask和causal mask,注意广播维度
  4. 加权V后合并头并经过输出线性层
  5. Cross-Attention中Q来自解码器,K、V来自编码器,Tq与Tk可不同

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题