AI 评测指标如何选择
哪些公司问过
汇宇科技1
答案要点
- 先确定业务目标,指标要能反映线上真实收益
- 分类抽取用 P/R/F1,检索排序用 Recall@K、MRR、NDCG
- BLEU/ROUGE 只衡量字面重叠,开放式生成需人工或 LLM 评判补充
- 兼顾效果、延迟、成本、安全等非效果指标
- 维护固定评测集与难例集,离线指标与线上 A/B 相互验证
易错点
- 只看公开榜单分数,不建自己业务的评测集
- 用 BLEU/ROUGE 评价开放式对话质量
- 评测集与训练集有重叠,指标虚高
面试官常见追问
- 训练集、测试集怎么回流迭代优化模型?
- LLM-as-judge 有什么问题?
- 类别不均衡时为什么不看准确率?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。