面试题库 › 算法 / 大模型 › Prompt Caching 原理及其对 Agent 成本的影响

Prompt Caching 原理及其对 Agent 成本的影响

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

顺丰1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 原理:缓存相同前缀的 KV Cache,跳过重复预填充,降低首 token 延迟和计费
  2. Agent 每步重发系统提示、工具定义和历史,重复前缀占比高,缓存收益大
  3. 前缀必须完全一致才能命中:静态在前、动态在后,避免时间戳等变动内容,历史只追加
  4. OpenAI 自动缓存并在 usage 中返回命中 token 数;Anthropic 用 cache_control 显式标记断点
  5. 自部署可用 vLLM 的自动前缀缓存、SGLang 的 RadixAttention 实现同类能力

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题