KV Cache 为什么只缓存 K 和 V 而不缓存 Q
哪些公司问过
答案要点
- 解码第 t 步:当前 token 的 Q 与前 t 个 token 的 K 点积,再对 V 加权求和
- 因果掩码下历史 token 的 K、V 不随后续步骤改变,且每步都要用,可缓存复用
- Q 只在当前步使用一次,历史 Q 后续不再参与计算,缓存无复用价值
- KV Cache 显存随序列长度、层数和 batch 线性增长,是长上下文推理瓶颈
- 优化手段:MQA/GQA/MLA 减少 KV 头或压缩,KV 量化,PagedAttention 分页管理
易错点
- 说 Q 不缓存是因为 Q 不重要,实际是因为 Q 不会被重复使用
- 以为 KV Cache 能减少 prefill 阶段的计算,它主要节省的是解码阶段的重复计算
- 忽略 KV Cache 的显存开销,误以为缓存没有代价
面试官常见追问
- MQA 和 GQA 怎么减小 KV Cache?
- KV Cache 显存怎么估算?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。