大模型与 Agent 评估中 Precision 与 Recall 的权衡
哪些公司问过
答案要点
- Precision 衡量查得准,Recall 衡量查得全,二者通常此消彼长
- 权衡手段:F1 或 F-beta(beta>1 偏重召回)、调阈值选 PR 曲线工作点、按错误代价设约束
- Agent 信息收集环节(检索、工具候选、问题发现)漏掉代价高,召回优先
- 执行有副作用的动作时误执行风险大,精确率优先,必要时请求用户确认
- 常见策略:前段召回优先、后段精确优先,高风险动作加确认机制
易错点
- 笼统地说 Agent 任务召回更重要,不区分动作是否有副作用
- 只看单一阈值下的指标,不看 PR 曲线
- 把 Precision、Recall 与准确率混淆
面试官常见追问
- 在 Agent 工具调用评估里怎么定义 Precision 和 Recall?
- F1 有什么局限?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。