面试题库 › 算法 / 大模型 › KV Cache 的优化

KV Cache 的优化

难度 ★★★在 31 场真实面经中被问到 方向:算法 / 大模型考点:KV Cache优化

哪些公司问过

快手4阿里巴巴3百度3腾讯2美团2字节跳动2小鹏1华为1拼多多1科大讯飞1

常见岗位:AI 应用 / Agent 开发、大模型算法、推理部署与加速、推荐搜索广告、机器学习算法(泛)

答案要点

  1. KV Cache:缓存历史 token 的 K、V,避免重复计算;显存随序列长度和 batch 线性增长
  2. 减小体积:MQA/GQA 共享 KV 头,MLA 低秩压缩,KV 量化(INT8/FP8)
  3. PagedAttention(vLLM):KV 切成固定块,用块表映射到不连续显存,减少碎片
  4. 复用:前缀缓存,多个请求共享相同前缀的 KV
  5. 长文本:滑动窗口、淘汰不重要的 token、卸载到 CPU,配合连续批处理提高吞吐

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题