手写多头注意力与交叉注意力
哪些公司问过
答案要点
- Q/K/V线性映射后拆成h个头,形状B×h×T×d_k,d_k=d_model/h
- 分数为QK^T/√d_k,缩放防止softmax饱和
- softmax前施加padding mask和causal mask,注意广播维度
- 加权V后合并头并经过输出线性层
- Cross-Attention中Q来自解码器,K、V来自编码器,Tq与Tk可不同
易错点
- 拆头时直接view成错误维度顺序而不先reshape再transpose
- 在softmax之后再乘mask,概率不再归一
- Cross-Attention中把K、V也取自解码器输入,退化成自注意力
面试官常见追问
- mask填负无穷有什么风险?
- 为什么要除以√d_k?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。