面试题库 › 算法 / 大模型 › 多头注意力的作用与表达增益

多头注意力的作用与表达增益

难度 ★★☆在 7 场真实面经中被问到 方向:算法 / 大模型考点:注意力机制

哪些公司问过

美团1cvte1字节跳动1高德1寒武纪1腾讯音乐1

常见岗位:AI 应用 / Agent 开发、大模型算法、机器学习算法(泛)、计算机视觉、NLP / 语音

答案要点

  1. 输入经投影得到 Q、K、V,按头数拆成多个低维子空间分别计算注意力
  2. 每个头有独立的 Q/K/V 投影参数,并非同一注意力的简单重复
  3. 不同头可关注不同位置或关系,如相邻词、句法依存、指代
  4. 拼接后经输出投影 W_O 融合各子空间信息
  5. 单头只有一组注意力分布,表达受限;多头总计算量与单头大致相当

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题