Self-Attention 与 Cross-Attention 的原理及区别
答案要点
- 计算方式相同:线性投影得 Q、K、V,softmax(QK^T/√d_k)V,可多头
- Self-Attention 的 Q、K、V 同源,建模序列内部依赖
- Cross-Attention 的 Q 来自一方,K、V 来自另一方,用于两个序列或模态的对齐与信息融合
- 自注意力矩阵 n×n,交叉注意力 n×m,输出长度与 Q 一致
- 典型场景:编码器-解码器翻译、文生图条件注入、多模态融合
易错点
- 以为两者计算公式不同,实际只是输入来源不同
- 把交叉注意力的 Q 说成来自编码器,原始 Transformer 中是 Q 来自解码器
- 以为交叉注意力要求两个序列等长,实际长度可以不同
- 忽略解码器自注意力的因果掩码
面试官常见追问
- 为什么要除以 √d_k?
- 解码器自注意力为什么要加掩码?交叉注意力需要吗?
- 推理时 KV Cache 对两种注意力有什么不同?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。