Prompt Caching 原理及其对 Agent 成本的影响
哪些公司问过
答案要点
- 原理:缓存相同前缀的 KV Cache,跳过重复预填充,降低首 token 延迟和计费
- Agent 每步重发系统提示、工具定义和历史,重复前缀占比高,缓存收益大
- 前缀必须完全一致才能命中:静态在前、动态在后,避免时间戳等变动内容,历史只追加
- OpenAI 自动缓存并在 usage 中返回命中 token 数;Anthropic 用 cache_control 显式标记断点
- 自部署可用 vLLM 的自动前缀缓存、SGLang 的 RadixAttention 实现同类能力
易错点
- 以为缓存的是模型最终输出:缓存的是前缀的 KV 计算结果,输出仍要重新生成
- 只要内容相似就能命中:要求前缀逐 token 完全一致
- 在系统提示开头插入动态信息,导致整个前缀无法复用
面试官常见追问
- OpenAI 协议上怎么控制缓存?
- 自己做推理服务时怎么实现前缀缓存?
- 什么情况下缓存会失效?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。