如何让 LLM Agent 稳定返回 JSON
哪些公司问过
答案要点
- 优先使用结构化输出(JSON Schema 严格模式)或 function calling 约束格式
- 自部署模型可用语法约束解码,从 token 层面保证合法
- prompt 明确只输出 JSON,给字段说明与 few-shot 示例,并降低 temperature
- 解析后用 Pydantic/JSON Schema 校验,失败时修复或携带错误信息重试
- 设置最大重试次数与降级策略,记录失败样本迭代优化
易错点
- 只靠 prompt 要求格式,不做解析校验和重试
- 把 JSON mode 当成 schema 保证,没校验字段和类型
- 模型输出带 markdown 代码块标记时直接解析失败
面试官常见追问
- JSON mode 和结构化输出有什么区别?
- 约束解码会不会影响回答质量?
- 重试时怎么提高成功率?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。