Agent 上下文压缩机制与 token 估算
哪些公司问过
答案要点
- 目的:历史接近窗口上限时缩减上下文,同时降低成本与延迟
- 方法:滑动窗口、摘要压缩、关键信息结构化抽取、外部记忆检索、工具结果裁剪
- 通常设触发阈值,压缩较早历史为摘要,最近几轮原文保留
- 摘要提示需明确保留需求、约束、关键决策、未完成事项
- 系统提示与核心需求单独固定不参与压缩,并接受压缩必然有损的取舍
易错点
- 用简单截断丢弃早期历史,导致最初需求被遗忘
- 摘要提示过于笼统,关键约束和决策丢失
- 用一个模型的 tokenizer 估算另一个模型的 token 数而不留余量
面试官常见追问
- 为什么压缩前 70%?最开始几轮明确需求不是很重要吗?
- token 估算怎么实现,响应里的 usage 能直接用吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。