面试题库 › 算法 / 大模型 › 如何客观评估 AI 应用效果

如何客观评估 AI 应用效果

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:评估与AB实验

哪些公司问过

去哪儿1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 评测集:来自真实日志,覆盖高频、长尾和边界,专家标注并持续补充坏例
  2. 自动指标按任务选择:准确率、召回、F1;RAG 分别评检索与生成
  3. LLM 作为裁判需用人工标注校准,关注位置偏好、长度偏好等偏差
  4. 每次迭代跑回归,避免改好一处、坏了另一处
  5. 线上指标与 A/B 实验:任务完成率、用户反馈、转人工率、延迟和成本

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题