AB 实验:为什么抽样、如何保证置信、p 值 0.06 怎么解读
哪些公司问过
答案要点
- 抽样是因为无法对全部用户做实验,需用样本推断总体
- 随机分流保证两组无系统性差异,差异才能归因于策略
- 事先做功效分析确定样本量,覆盖完整周期,核对样本比例
- p=0.06:原假设成立时观察到当前或更极端差异的概率为 6%,大于 0.05,不能拒绝原假设,但不等于无效
- 不显著的原因:样本不足、效应小、方差大、设计问题;放量后消失:新奇效应、多重检验、样本偏差
易错点
- 把 p 值解释成策略有效的概率
- p 值略大于 0.05 就断定无效
- 不做分流检查和功效分析
面试官常见追问
- 为什么一定要随机分流?
- 结果不显著具体是哪个原因,怎么判断?
- 某个结果显著,放量后不显著,为什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。