面试题库 › 算法 / 大模型 › Agent 响应延迟高的工程侧与基座侧优化

Agent 响应延迟高的工程侧与基座侧优化

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:工程化与部署

哪些公司问过

AI Agent 面试通用题库1成都某电商公司1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 先拆解耗时:模型调用轮次、上下文长度、检索与工具耗时
  2. 工程侧:减少轮次、并行工具调用、精简上下文、缓存、流式输出
  3. RAG 侧:优化索引与召回,重排后只保留少量高相关片段
  4. 基座侧:小模型处理简单步骤,量化、投机解码、前缀缓存、蒸馏
  5. 为每步设超时与降级,避免长尾请求阻塞整体

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题