KV Cache 与 Prompt Caching 的区别
哪些公司问过
答案要点
- KV Cache 在单个请求生成过程中缓存 K、V,避免逐步重复计算
- Prompt Caching 跨请求复用相同前缀的 KV,可降低首 token 延迟与费用
- 自部署对应前缀缓存,如 vLLM 自动前缀缓存、SGLang RadixAttention
- 云 API 有自动缓存和显式标记缓存位置两种方式,计费规则因厂商而异
- 前缀严格匹配,前面任一 token 变化都会导致后续无法命中
易错点
- 把 Prompt Caching 理解成缓存最终回答
- 以为内容相似就能命中,忽略严格前缀匹配
- 在提示开头放动态内容,导致命中率很低
面试官常见追问
- 如何提高缓存命中率?
- 前缀缓存会被淘汰吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。