上线前评测、评测集设计与防止评测集泄漏
哪些公司问过
答案要点
- 离线评测:测试集指标、大模型裁判与人工评测、badcase 分析
- 在线评测:灰度发布、A/B 测试和线上指标监控
- 评测集贴近真实分布,按场景、难度和长尾分层,标注标准统一
- 训练与评测严格隔离,按时间或来源划分,并做去重和 n-gram 重叠检测
- 调参用验证集,保留私有评测集并定期更新
易错点
- 用评测集调超参或挑模型,造成间接泄漏
- 只看公开榜单分数,忽略基准题目可能已混入预训练语料
- 评测集分布与线上真实请求不一致
面试官常见追问
- 用了哪些评测集?
- 请讲一下每个评测集的具体内容。
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。