面试题库 › 算法 / 大模型 › 使用 LLM-as-Judge 前如何验证其可靠性

使用 LLM-as-Judge 前如何验证其可靠性

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:模型评测

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 用分层抽样的人工标注集做金标准,先测人与人一致性作为参考上限
  2. 计算 Judge 与人工的一致率、kappa 或相关系数,并按场景切片分析
  3. 测位置偏差、长度偏差、自我偏好,交换顺序和多次运行检查稳定性
  4. 通过明确评分细则、提供参考答案、先写理由后打分来提升可靠性
  5. 固定 Judge 模型版本和提示词,上线后定期抽样人工复核防漂移

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题