多头注意力的作用与表达增益
哪些公司问过
答案要点
- 输入经投影得到 Q、K、V,按头数拆成多个低维子空间分别计算注意力
- 每个头有独立的 Q/K/V 投影参数,并非同一注意力的简单重复
- 不同头可关注不同位置或关系,如相邻词、句法依存、指代
- 拼接后经输出投影 W_O 融合各子空间信息
- 单头只有一组注意力分布,表达受限;多头总计算量与单头大致相当
易错点
- 以为多头是用同一组参数并行算多次
- 以为多头会让计算量翻 h 倍
- 忘记拼接之后还有输出投影 W_O
面试官常见追问
- BERT 的掩码和 Decoder-only 的因果掩码本质差异是什么?
- FlashAttention 为什么快,真正减少的是什么?
- RoPE 为什么能编码相对位置?长上下文外推时为什么会失真?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。