AI 产品 A/B 测试与传统 UI 测试的区别
答案要点
- AI输出有随机性、方差大,需更多样本和更长周期,固定并记录模型版本、提示词、温度
- 需关注的变量:模型版本、提示词、采样参数、检索策略、上下文、安全过滤、上游API更新
- 指标除转化留存外,加采纳率、重试率、修改率、延迟与成本,并结合人工或模型评审
- 警惕新奇效应,观察指标随时间的变化
- 反馈回路和数据回流可能污染实验,需隔离实验数据
易错点
- 实验期间上游模型被更新却没有记录版本
- 一次同时改提示词和模型,无法归因
- 只看短期点击,忽略新奇效应
面试官常见追问
- 上线前怎么减少 A/B 测试成本?
- 质量指标和业务指标冲突怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。