输入内容超出模型 token 上限怎么处理
哪些公司问过
蚂蚁数字科技1
答案要点
- 对话场景:滑动窗口保留最近内容,早期历史做摘要或抽取为记忆
- 文档问答:切块建索引,用 RAG 只检索相关片段输入
- 全文任务:分块分别调用,再 map-reduce 合并或逐层汇总
- 精简提示或换更长上下文模型,并评估成本与效果
- 每种方法都有信息损失,需要用评测集验证
易错点
- 直接从头截断,把系统提示或关键指令截掉
- 摘要多次滚动后关键细节丢失,却没有保留原文
- 只算输入 token,忘了给输出预留长度
面试官常见追问
- 长上下文模型能直接替代 RAG 吗?
- 切块时怎么避免语义被切断?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。