面试题库 › 算法 / 大模型 › Token 预算不足时如何处理超长的多类 JSON 输入

Token 预算不足时如何处理超长的多类 JSON 输入

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:记忆与上下文管理

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 先扣除系统提示和输出预留,再按数据类型重要性分配 token 额度
  2. 用代码做字段裁剪、去重,把数值序列预先计算成摘要指标
  3. 新闻等文本按相关性和时效排序截取,或先用小模型分段摘要
  4. 用紧凑格式代替冗长 JSON 键名,用分词器实际计数校验是否达标
  5. 仍超预算时改为外部存储加工具按需检索,或分类型子任务分析后汇总

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题