如何客观评估 AI 应用效果
哪些公司问过
答案要点
- 评测集:来自真实日志,覆盖高频、长尾和边界,专家标注并持续补充坏例
- 自动指标按任务选择:准确率、召回、F1;RAG 分别评检索与生成
- LLM 作为裁判需用人工标注校准,关注位置偏好、长度偏好等偏差
- 每次迭代跑回归,避免改好一处、坏了另一处
- 线上指标与 A/B 实验:任务完成率、用户反馈、转人工率、延迟和成本
易错点
- 只用几个手挑的例子演示效果,没有固定评测集和回归
- 盲目信任 LLM 裁判分数,未与人工标注校准
- 离线指标好就上线,不做 A/B 验证线上表现
面试官常见追问
- LLM 裁判不可靠怎么办?
- BLEU、ROUGE 适合评估大模型回答吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。