Agent 响应延迟高的工程侧与基座侧优化
哪些公司问过
AI Agent 面试通用题库1成都某电商公司1
答案要点
- 先拆解耗时:模型调用轮次、上下文长度、检索与工具耗时
- 工程侧:减少轮次、并行工具调用、精简上下文、缓存、流式输出
- RAG 侧:优化索引与召回,重排后只保留少量高相关片段
- 基座侧:小模型处理简单步骤,量化、投机解码、前缀缓存、蒸馏
- 为每步设超时与降级,避免长尾请求阻塞整体
易错点
- 只说换更快的模型,不拆解耗时来源
- 缓存不考虑时效性和个性化,返回过期结果
- 并行调用不设超时,被最慢的工具拖住
面试官常见追问
- 怎么定位 Agent 哪一步慢?
- 首 token 时间怎么降?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。