面试题库 › 算法 / 大模型 › KV Cache 与 Prompt Caching 的区别

KV Cache 与 Prompt Caching 的区别

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:KV Cache优化

哪些公司问过

顺丰1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. KV Cache 在单个请求生成过程中缓存 K、V,避免逐步重复计算
  2. Prompt Caching 跨请求复用相同前缀的 KV,可降低首 token 延迟与费用
  3. 自部署对应前缀缓存,如 vLLM 自动前缀缓存、SGLang RadixAttention
  4. 云 API 有自动缓存和显式标记缓存位置两种方式,计费规则因厂商而异
  5. 前缀严格匹配,前面任一 token 变化都会导致后续无法命中

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题