降低AI应用响应延迟:缓存与异步策略
哪些公司问过
饿了么1
答案要点
- 流式输出(SSE/WebSocket)逐token推送,显著降低首字感知延迟
- 多级缓存:精确缓存、语义缓存(向量相似度超阈值命中),以及推理侧前缀KV Cache复用
- 语义缓存设保守阈值,并按用户、时效隔离,防止答非所问或数据串用
- 异步化:日志、记忆写入等非关键路径入队后台处理,多路检索与工具调用并行,长任务返回任务ID
- 模型路由与推理优化:简单问题走小模型,配合量化、连续批处理、投机解码、精简上下文
易错点
- 语义缓存阈值过低,相似但不同的问题返回错误答案
- 把时间戳、用户ID等动态内容放在提示词开头,导致前缀缓存失效
- 只看平均延迟,忽略P99长尾和首token延迟
面试官常见追问
- 语义缓存的命中阈值如何确定?
- 前缀缓存为什么能降低首token延迟?
- 怎么衡量优化效果?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。