LLM 调用与工具调用的缓存设计
哪些公司问过
答案要点
- 精确缓存键:模型与版本、规范化 prompt、生成参数、提示词版本的哈希
- 语义缓存按向量相似度复用,阈值严格,排除个性化和强时效请求
- 推理侧前缀缓存:固定内容前置,复用 KV 降低首 token 延迟
- 工具缓存键为工具名加规范化参数,用户相关数据需带用户维度
- 失效用 TTL、LRU 与版本号主动失效,并监控命中率和误命中
易错点
- 缓存键漏掉模型版本或参数,换模型后返回旧结果
- 缓存了有副作用或个性化的结果,造成数据错乱或泄露
- 语义缓存阈值过低,相似但不同的问题误命中
面试官常见追问
- 如何决定哪些结果可缓存、缓存多久?
- 语义缓存误命中怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。