怎么评估一个大模型好不好
哪些公司问过
答案要点
- 通用基准:MMLU、C-Eval、GSM8K、HumanEval,注意数据污染和饱和
- 自建业务评测集,最贴近真实场景
- 人工评估:相关性、准确性、流畅性、安全性
- LLM 裁判有位置、长度、自我偏好偏差,需交换顺序、细则化并用人工校准
- 对抗与安全测试、工程指标,上线后用线上反馈和 AB 持续评估
易错点
- 只说看榜单分数
- 忽略数据污染问题
- 直接信任 LLM 裁判的分数
面试官常见追问
- LLM 当裁判会不准,怎么办?
- RLHF 在实践中有哪些不足?
- 偏好数据成本高怎么解决?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。