对话与 Agent 上下文过长的工程处理
哪些公司问过
答案要点
- 长文档切块加 RAG 检索,只注入相关片段,块大小与重叠按文档结构调整
- 分层记忆:近期原文、早期摘要、关键事实结构化存储并按需检索
- 核心指令固定在 system prompt,必要时在近端重复强调
- 工具返回只保留关键字段,大结果外置;复杂任务拆给子 Agent 隔离上下文
- 做 token 预算管理,关注过长上下文带来的成本和效果衰减
易错点
- 只靠扩大上下文窗口解决问题,成本高且效果不一定好
- 摘要时丢掉了用户约束、已做决策等关键信息
- 把工具的原始大段返回全部塞进上下文
面试官常见追问
- 分层记忆机制是怎么实现的?
- 模型和后端链路复杂导致消息延迟,怎么解决?
- 多轮对话如何避免模型遗忘早期指令?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。