手写带 KV Cache 的多头注意力与形状变化
哪些公司问过
答案要点
- x(B,L,d) 经投影得 Q/K/V,拆头为 (B,H,L,d_head),d_head=d/H
- QK^T/√d_head 得分数 (B,H,L,L),缩放防止 softmax 饱和;加掩码 softmax 后乘 V 得 (B,H,L,d_head)
- transpose 回 (B,L,H,d_head),contiguous 后合并为 (B,L,d),再过 Wo
- KV Cache:预分配 (B,H,max_len,d_head),按 start_pos 写入当前 K/V,读取 [0,start_pos+L)
- prefill 时 start_pos=0、L 为 prompt 长度;解码时 L=1,分数形状为 (B,H,1,start_pos+1)
易错点
- 缩放因子写成 √d_model 而不是 √d_head
- transpose 后直接 view 报错,或用 reshape 代替 transpose 打乱数据
- 解码阶段位置编码没有加上 start_pos 偏移
面试官常见追问
- start_pos 在 prefill 和 decode 中分别起什么作用?
- 为什么训练阶段不用 KV Cache?
- 手撕 KV Cache 时常见的坑有哪些?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。