面试题库 › 算法 / 大模型 › KV Cache 为什么只缓存 K 和 V 而不缓存 Q

KV Cache 为什么只缓存 K 和 V 而不缓存 Q

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:KV Cache优化

哪些公司问过

百度2

常见岗位:大模型算法

答案要点

  1. 解码第 t 步:当前 token 的 Q 与前 t 个 token 的 K 点积,再对 V 加权求和
  2. 因果掩码下历史 token 的 K、V 不随后续步骤改变,且每步都要用,可缓存复用
  3. Q 只在当前步使用一次,历史 Q 后续不再参与计算,缓存无复用价值
  4. KV Cache 显存随序列长度、层数和 batch 线性增长,是长上下文推理瓶颈
  5. 优化手段:MQA/GQA/MLA 减少 KV 头或压缩,KV 量化,PagedAttention 分页管理

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题