面试题库 › 算法 / 大模型 › Agent 系统成本必须降一半,先从哪里查

Agent 系统成本必须降一半,先从哪里查

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:工程化与部署

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 先做成本拆解:按请求记录各部分 token 和每个任务的调用次数,找出大头再动手
  2. 常见大头:历史和工具定义每轮重发、检索片段过多、失败重试与循环、所有步骤都用大模型
  3. 手段:前缀缓存、历史摘要截断、工具输出裁剪、检索重排减量、模型路由、限制最大步数、结果缓存
  4. 用固定评测集对比任务成功率和单任务成本,灰度上线并监控失败率和人工兜底比例
  5. 自部署模型还要看 GPU 利用率、批处理和量化等推理侧成本

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题