面试题库 › 算法 / 大模型 › 离线评测、Judge、人工与线上指标冲突时如何定位原因

离线评测、Judge、人工与线上指标冲突时如何定位原因

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:模型评测

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 先检查每个指标的有效性:测的目标是否一致、测量本身是否可靠
  2. 离线集看分布偏移和数据污染,Judge 看与人工一致性和偏差,人工看细则与业务是否对齐
  3. 线上指标先确认实验有效:分流均匀、样本量、新奇效应、延迟和界面等干扰因素
  4. 用同一批线上抽样数据让各评测方式都评一遍,按场景切片找分歧来源
  5. 围绕业务目标迭代离线评测集和细则,提升离线与线上的相关性

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题