A/B测试的基本步骤与有效性判断
哪些公司问过
答案要点
- 步骤:假设与指标、样本量计算、随机分流、运行、检验、决策
- 样本量由基线、最小可检测效应、α和功效决定
- 随机按用户分流,用AA测试或样本比例检查验证分组
- 有效性:统计显著且效应有业务意义,护栏指标未恶化
- 预算有限时优先控制单一实验变量和样本量、周期
易错点
- 样本量不足就下结论
- 只看p值不看效应量和置信区间
- 同时改多个变量,无法归因
面试官常见追问
- 为什么不能看到显著就提前停止实验?
- 实验组多个指标同时检验怎么办?
- 什么是新奇效应?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。