如何评估 Agent 是否真的完成了任务
哪些公司问过
AI Agent 面试通用题库1
答案要点
- 先定义成功标准和可验证的完成信号,用程序校验最终产物
- 埋点记录完整执行轨迹:工具调用、参数、返回、步数
- 执行层指标:任务成功率、工具调用准确率、步数、耗时、成本
- 业务层指标:端到端完成率、重试和放弃率、用户满意度
- 抽样人工评估加 LLM 裁判(需校准),固定评测集回归,灰度和 AB 持续监控
易错点
- 只看回答是否流畅,不验证任务是否完成
- 没有埋点,出错后无法复盘
- 直接相信 LLM 裁判的分数,不做校准
面试官常见追问
- LLM 裁判有什么问题?
- 任务没有标准答案怎么评估?
- 线上发现成功率下降怎么排查?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。