Agent 多轮工具调用的延迟优化与排查
哪些公司问过
答案要点
- 减少轮次:模型一次规划多个调用、合并为粗粒度工具、固定流程用代码编排
- 无依赖的工具调用并行执行
- 缩短单轮:小模型处理简单步骤、裁剪工具返回、前缀缓存、工具结果缓存,并流式反馈进度
- 延迟飙升排查:链路追踪定位,先查下游依赖如慢查询与第三方接口
- 再查网络与资源:DNS、连接池耗尽、重试放大、CPU/内存或线程池打满
易错点
- 只想着换更快的模型,不分析轮次和编排
- 工具返回的大段原始结果直接塞回上下文,每轮越来越慢
- 排查时只看平均值,不看 P99 和具体链路
面试官常见追问
- 连接池耗尽为什么会导致延迟飙升?
- 并行调用工具有什么风险?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。