面试题库 › 算法 / 大模型 › 上线前评测、评测集设计与防止评测集泄漏

上线前评测、评测集设计与防止评测集泄漏

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:模型评测

哪些公司问过

快手1百度1Shopee1

常见岗位:AI 应用 / Agent 开发、大模型算法

答案要点

  1. 离线评测:测试集指标、大模型裁判与人工评测、badcase 分析
  2. 在线评测:灰度发布、A/B 测试和线上指标监控
  3. 评测集贴近真实分布,按场景、难度和长尾分层,标注标准统一
  4. 训练与评测严格隔离,按时间或来源划分,并做去重和 n-gram 重叠检测
  5. 调参用验证集,保留私有评测集并定期更新

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题