AB 实验需要关注哪些指标
哪些公司问过
答案要点
- 核心指标(OEC):直接对应实验目标,数量少,用于决策
- 辅助或驱动指标:漏斗各环节等,用于解释核心指标的变化
- 护栏指标:收入、留存、投诉等业务护栏与崩溃率、时延等技术护栏
- 可信度检查:SRM样本比例检查、AA实验
- 结果解读:p值、置信区间与效应大小,多重检验校正,关注新奇效应与长期指标
易错点
- 实验结束后再挑显著的指标作为结论
- 只看p值,不看效应大小和置信区间
- 忽略SRM检查,基于有问题的分流下结论
面试官常见追问
- 什么是 SRM?
- 核心指标显著提升但护栏指标变差怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。