大模型自动化评测框架与方法
哪些公司问过
答案要点
- lm-evaluation-harness:统一封装大量基准,按对数似然或生成匹配计算指标
- HELM:多场景、多指标,覆盖准确率、校准、鲁棒性、公平性等
- OpenCompass:中文基准覆盖较全,支持分布式评测
- 对话评测:MT-Bench(模型裁判)、Chatbot Arena(人类成对投票排名)、AlpacaEval(胜率)
- 局限:数据污染、裁判偏差;业务中需私有评测集与人工抽检
易错点
- 只报框架名,说不清评测维度和计算方式
- 盲信公开榜单分数,忽略污染和刷榜
- 把模型裁判分数当绝对真值
面试官常见追问
- 如何把人工问题归因环节改造成自动化流程?
- 怎么发现评测数据污染?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。