面试题库 › Java 后端 › Human as a Judge 与 LLM as a Judge 的对比

Human as a Judge 与 LLM as a Judge 的对比

难度 ★★☆在 1 场真实面经中被问到 方向:Java 后端考点:评估与监控

哪些公司问过

快手1

常见岗位:Java 后端

答案要点

  1. 人工评审准确、能把握业务和细节,但成本高、难扩展、评审员间一致性有限
  2. LLM 评审便宜快速可扩展,但存在位置偏差、冗长偏差、自我偏好等
  3. 使用前用人工标注集校准,衡量与人工判断的一致性
  4. 减偏手段:评分细则、参考答案、交换顺序、多模型投票
  5. 常见实践:LLM 大规模初筛,人工抽检、复核分歧和高风险样本

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题