调用大模型 token 超限与结构化输出保障
哪些公司问过
cherry studio1
答案要点
- 区分单次超上下文窗口与账号配额、限频两类超限
- 超长时裁剪压缩输入、用检索只送相关片段、分块汇总,并限制输出长度
- 配额限频时指数退避重试、排队、降级到更大或更省的模型
- 结构化输出优先用 JSON 模式或函数调用,提示里给明确字段和示例
- 输出用 Schema 校验,失败则容错解析或带错误重试,并保留兜底结构
易错点
- 只靠提示词要求 JSON,不做 Schema 校验和解析兜底
- 超限重试不加退避,放大限频压力
- 裁剪上下文时把关键信息也删掉,导致回答错误
面试官常见追问
- 怎么保障大模型结构化输出?
- 输出不是结构化怎么处理?
- RAG 为什么能缓解 token 超限?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。