Agent 系统成本必须降一半,先从哪里查
答案要点
- 先做成本拆解:按请求记录各部分 token 和每个任务的调用次数,找出大头再动手
- 常见大头:历史和工具定义每轮重发、检索片段过多、失败重试与循环、所有步骤都用大模型
- 手段:前缀缓存、历史摘要截断、工具输出裁剪、检索重排减量、模型路由、限制最大步数、结果缓存
- 用固定评测集对比任务成功率和单任务成本,灰度上线并监控失败率和人工兜底比例
- 自部署模型还要看 GPU 利用率、批处理和量化等推理侧成本
易错点
- 不做成本拆解就直接换小模型,省的可能是小头,成功率却下降
- 只看单次调用价格,忽略重试和多轮循环带来的调用次数放大
- 降本不配评测,质量下降后靠重做和人工兜底,总成本反而更高
面试官常见追问
- 怎么保证降本后效果不掉?
- 使用提示词缓存要注意什么?
- 模型路由怎么设计?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。