Self-Attention 的原理与实现
哪些公司问过
答案要点
- 输入经三个线性变换得到 Q、K、V,公式为 softmax(QK^T/√d_k)V
- 除以 √d_k 控制点积方差,避免 softmax 饱和导致梯度变小
- self-attention 的 Q、K、V 同源;交叉注意力 Q 来自解码器,K、V 来自编码器
- 多头在不同子空间并行计算注意力,拼接后经 W_O 融合,增强表达能力
- 注意力对顺序不敏感,需要位置编码注入位置信息;解码器还需要因果 mask
易错点
- 把除以 √d_k 解释成防止数值溢出,核心其实是控制方差、避免 softmax 饱和
- 以为多头会让计算量翻 h 倍,实际每头维度是 d_model/h,总量与单头相近
- 实现时漏掉 padding mask 或解码器的因果 mask
面试官常见追问
- 了解 MHA 的变体吗?了解 MLA 吗?
- Self-attention 是怎么提取信息的?它在做什么事?
- 多头注意力的作用是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。