AB 实验如何确定样本量
哪些公司问过
答案要点
- 四要素:显著性水平α、统计功效1−β、指标方差σ²、最小可检测效应MDE
- 均值指标每组n≈2(z(1−α/2)+z(1−β))²σ²/δ²,α=0.05、功效0.8时约为16σ²/δ²
- 比率指标方差用p(1−p);MDE减半样本量变为四倍
- 结合日流量换算实验天数,至少覆盖一个完整周期
- 分析单位与分流单位不一致时用delta方法修正方差;CUPED可降低所需样本量
易错点
- 看到显著就提前停止实验,抬高假阳性率
- 不预先计算样本量,实验时长随意决定
- 分析单位和分流单位不一致时仍用朴素方差公式
面试官常见追问
- 同时有多个实验,怎么随机分流?
- 层与层之间正交,怎么实现?
- 样本量不够会怎样?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。