面试题库 › 算法 / 大模型 › Self-Attention 的原理与实现

Self-Attention 的原理与实现

难度 ★★☆在 11 场真实面经中被问到 方向:算法 / 大模型考点:注意力机制

哪些公司问过

字节跳动3百度2腾讯1美团1cvte1小红书1商汤1平安人寿1

常见岗位:NLP / 语音、大模型算法、AI 应用 / Agent 开发、机器学习算法(泛)、计算机视觉

答案要点

  1. 输入经三个线性变换得到 Q、K、V,公式为 softmax(QK^T/√d_k)V
  2. 除以 √d_k 控制点积方差,避免 softmax 饱和导致梯度变小
  3. self-attention 的 Q、K、V 同源;交叉注意力 Q 来自解码器,K、V 来自编码器
  4. 多头在不同子空间并行计算注意力,拼接后经 W_O 融合,增强表达能力
  5. 注意力对顺序不敏感,需要位置编码注入位置信息;解码器还需要因果 mask

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题