Human as a Judge 与 LLM as a Judge 的对比
哪些公司问过
答案要点
- 人工评审准确、能把握业务和细节,但成本高、难扩展、评审员间一致性有限
- LLM 评审便宜快速可扩展,但存在位置偏差、冗长偏差、自我偏好等
- 使用前用人工标注集校准,衡量与人工判断的一致性
- 减偏手段:评分细则、参考答案、交换顺序、多模型投票
- 常见实践:LLM 大规模初筛,人工抽检、复核分歧和高风险样本
易错点
- 把 LLM 评审结果直接当真值,不做人工校准
- 评分标准模糊,导致人工和 LLM 都不稳定
- 用被评模型本身做评审,忽略自我偏好
面试官常见追问
- 如何衡量 LLM 评审和人工是否一致?
- 如何减轻位置偏差?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。