A/B 实验设计与显著性判断
哪些公司问过
答案要点
- 明确假设、核心指标与护栏指标,按最小可检测效应和功效估算样本量
- 按用户 ID 哈希稳定随机分流,做 SRM 检查,必要时先做 AA 实验
- 用假设检验和置信区间判断显著性,跑满预定周期,避免中途偷看
- 小样本 bucket 方差大:Welch t 检验、CUPED 方差缩减、贝叶斯收缩估计
- 关注新奇效应、多重检验和用户间相互影响等偏差
易错点
- 实验中途看到显著就提前停止,增加假阳性
- 不检查分流比例,SRM 导致结论不可信
- 同时看很多指标却不做多重检验校正
面试官常见追问
- 随机对照实验的核心设计原则是什么?
- 倾向得分匹配、工具变量、双重差分了解吗?
- 你的方法做了哪些消融实验?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。