Agent 的 Token 消耗暴涨,怎么定位和优化
哪些公司问过
答案要点
- 按调用链埋点,统计每步输入输出 token、轮次、工具调用次数,找热点
- 常见原因:历史无限累积、工具输出过大、循环重试、提示词和工具描述过长、重复检索
- 压缩历史:摘要或滑动窗口;工具输出截断、分页或只返回关键字段
- 提示词缓存:稳定前缀放前面;限制最大轮数,检测重复调用
- 简单步骤用小模型;设置监控和告警
易错点
- 没有埋点就凭感觉优化
- 只压缩提示词,不处理工具输出过大
- 压缩时丢掉关键约束,没有保底机制
面试官常见追问
- 为什么需要压缩上下文?
- 压缩丢了关键信息怎么办?
- 提示词缓存怎么利用?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。