线上 Agent Bad Case 如何定位与修复
哪些公司问过
答案要点
- 建立全链路 trace:输入、检索结果、每步 prompt 与输出、工具参数与返回、耗时
- 先复现,降低温度排除随机性,再逐环节缩小范围
- 按环节区分:路由、检索召回、工具返回、上下文噪声、模型或 prompt
- 用强模型或标准上下文做对照实验,确认是否为模型能力问题
- 修复后加入回归评测集,线上监控成功率、耗时与工具错误率
易错点
- 没有 trace 日志,只能凭猜测改 prompt
- 只盯着 prompt 调,忽视检索和工具返回的问题
- 修复后不做回归测试,引入新的 bad case
面试官常见追问
- 长程任务平时 5 分钟结束,某次运行迟迟不结束,怎么定位和解决?
- 响应质量时好时坏,怎么排查?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。