面试题库 › 算法 / 大模型 › 输入内容超出模型 token 上限怎么处理

输入内容超出模型 token 上限怎么处理

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:长上下文处理

哪些公司问过

蚂蚁数字科技1

常见岗位:软件开发

答案要点

  1. 对话场景:滑动窗口保留最近内容,早期历史做摘要或抽取为记忆
  2. 文档问答:切块建索引,用 RAG 只检索相关片段输入
  3. 全文任务:分块分别调用,再 map-reduce 合并或逐层汇总
  4. 精简提示或换更长上下文模型,并评估成本与效果
  5. 每种方法都有信息损失,需要用评测集验证

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题