面试题库 › 算法 / 大模型 › A/B 实验设计与显著性判断

A/B 实验设计与显著性判断

难度 ★★☆在 6 场真实面经中被问到 方向:算法 / 大模型考点:评估与AB实验

哪些公司问过

阿里巴巴3字节跳动2淘天集团1

常见岗位:大模型算法、AI 应用 / Agent 开发、机器学习算法(泛)、推荐搜索广告

答案要点

  1. 明确假设、核心指标与护栏指标,按最小可检测效应和功效估算样本量
  2. 按用户 ID 哈希稳定随机分流,做 SRM 检查,必要时先做 AA 实验
  3. 用假设检验和置信区间判断显著性,跑满预定周期,避免中途偷看
  4. 小样本 bucket 方差大:Welch t 检验、CUPED 方差缩减、贝叶斯收缩估计
  5. 关注新奇效应、多重检验和用户间相互影响等偏差

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题