Agent 系统怎么评估:指标与方法
哪些公司问过
答案要点
- 任务完成率:成功完成目标的比例,最核心
- 质量:答案准确性、工具调用正确率、幻觉率
- 效率:平均步数、token 消耗、响应时间与成本
- 鲁棒性:异常处理和错误恢复能力
- 评测集覆盖典型与边界场景,用规则、人工或 LLM-as-judge 打分,改动后回归对比
易错点
- 只看最终答案,不看过程和工具调用
- 评测集太小或不覆盖边界场景
- 完全依赖 LLM-as-judge 而不校准
- 改完 Prompt 不做回归评测
面试官常见追问
- 评测集怎么建?没有标注数据怎么办?
- Prompt 改了一版,怎么知道变好还是变坏?
- 除了生成质量,还应关注哪些维度?
- 多步推理的延迟怎么优化?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。