使用 LLM-as-Judge 前如何验证其可靠性
答案要点
- 用分层抽样的人工标注集做金标准,先测人与人一致性作为参考上限
- 计算 Judge 与人工的一致率、kappa 或相关系数,并按场景切片分析
- 测位置偏差、长度偏差、自我偏好,交换顺序和多次运行检查稳定性
- 通过明确评分细则、提供参考答案、先写理由后打分来提升可靠性
- 固定 Judge 模型版本和提示词,上线后定期抽样人工复核防漂移
易错点
- 只看整体一致率,忽略某些场景或困难样本上 Judge 严重失准
- 用和被评模型同源的模型当 Judge,未检查自我偏好
- Judge 模型或提示词升级后不重新校准,前后分数不可比
面试官常见追问
- 位置偏差具体怎么测和消除?
- Judge 和人工一致率多少才算可用?
- 打分制和成对比较怎么选?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。