大模型输出不符合预期时如何排查与兜底
哪些公司问过
答案要点
- 先复现:固定输入与参数,记录完整请求和中间结果,借助 trace 逐步检查
- 按环节定位:提示词、检索召回、工具调用、模型推理、后处理解析
- 区分错误类型:知识缺失、指令误解、格式错误、推理错误、幻觉,分别对症处理
- 多步误差累积:关键步骤校验、减少步数、基于观察结果自检、限制最大轮数
- 兜底策略:重试、降级换模型、返回不确定或转人工,并沉淀成评测集
易错点
- 只靠反复改提示词碰运气,不先定位出错环节
- 温度较高时只看一次输出就下结论,忽略采样随机性
- 工具报错直接抛给用户,没有让模型自我修正或兜底
面试官常见追问
- 工具调用失败怎么办?
- 如何防止同类错误再次出现?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。