面试题库 › 算法 / 大模型 › LLM 调用与工具调用的缓存设计

LLM 调用与工具调用的缓存设计

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

字节跳动1快手1网易互娱1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 精确缓存键:模型与版本、规范化 prompt、生成参数、提示词版本的哈希
  2. 语义缓存按向量相似度复用,阈值严格,排除个性化和强时效请求
  3. 推理侧前缀缓存:固定内容前置,复用 KV 降低首 token 延迟
  4. 工具缓存键为工具名加规范化参数,用户相关数据需带用户维度
  5. 失效用 TTL、LRU 与版本号主动失效,并监控命中率和误命中

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题