面试题库 › C++ / 后端 › Self-Attention 与 Cross-Attention 的原理及区别

Self-Attention 与 Cross-Attention 的原理及区别

难度 ★★☆在 0 场真实面经中被问到 方向:C++ / 后端考点:注意力机制

答案要点

  1. 计算方式相同:线性投影得 Q、K、V,softmax(QK^T/√d_k)V,可多头
  2. Self-Attention 的 Q、K、V 同源,建模序列内部依赖
  3. Cross-Attention 的 Q 来自一方,K、V 来自另一方,用于两个序列或模态的对齐与信息融合
  4. 自注意力矩阵 n×n,交叉注意力 n×m,输出长度与 Q 一致
  5. 典型场景:编码器-解码器翻译、文生图条件注入、多模态融合

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题