离线评测、Judge、人工与线上指标冲突时如何定位原因
答案要点
- 先检查每个指标的有效性:测的目标是否一致、测量本身是否可靠
- 离线集看分布偏移和数据污染,Judge 看与人工一致性和偏差,人工看细则与业务是否对齐
- 线上指标先确认实验有效:分流均匀、样本量、新奇效应、延迟和界面等干扰因素
- 用同一批线上抽样数据让各评测方式都评一遍,按场景切片找分歧来源
- 围绕业务目标迭代离线评测集和细则,提升离线与线上的相关性
易错点
- 默认线上指标一定正确,不检查 AB 实验是否有效
- 各评测方式用的样本不同,直接比较结论得出错误归因
- 只看总体均值,不做场景切片,掩盖分歧集中的问题类型
面试官常见追问
- 离线涨了线上没涨,最常见的原因有哪些?
- 怎么判断 Judge 和人工谁更可信?
- 怎么让离线评测更能预测线上?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。