面试题库 › 算法 / 大模型 › 大模型自动化评测框架与方法

大模型自动化评测框架与方法

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:模型评测

哪些公司问过

腾讯1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. lm-evaluation-harness:统一封装大量基准,按对数似然或生成匹配计算指标
  2. HELM:多场景、多指标,覆盖准确率、校准、鲁棒性、公平性等
  3. OpenCompass:中文基准覆盖较全,支持分布式评测
  4. 对话评测:MT-Bench(模型裁判)、Chatbot Arena(人类成对投票排名)、AlpacaEval(胜率)
  5. 局限:数据污染、裁判偏差;业务中需私有评测集与人工抽检

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题