A/B实验中的SRM(样本比例失衡)是什么?
哪些公司问过
答案要点
- SRM 指实际样本比例与设计分流比例显著不一致
- 用卡方检验比较实际样本数和期望样本数,p 值极小即判定 SRM
- SRM 意味着随机化可能被破坏,实验结果通常不可信
- 常见原因:分流 bug、埋点丢失差异、触发条件不一致、中途改流量、过滤规则不一致
- 发现后应先排查根因并修复重跑,再讨论效果
易错点
- 把 SRM 理解成供应商关系管理,在实验语境下它是样本比例失衡
- 只凭肉眼看比例接近就放过,不做显著性检验
- 发现 SRM 后仍然直接解读实验指标
面试官常见追问
- 出现 SRM 后怎么排查原因?
- 为什么50比50的设计出现51比49也可能有问题?
- 有SRM能不能只截取正常部分的数据继续分析?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。