模型在线更新与 A/B 测试如何安全实施
哪些公司问过
答案要点
- 上线前离线评估和流量回放,影子模式并行对比但不生效
- 灰度:按用户哈希分桶,小流量逐步放大,同一用户始终同组
- 设置核心指标和护栏指标,触发阈值自动回滚
- AB 实验:随机分流、足够样本量、足够周期、避开新奇效应,用 AA 测试验证
- 模型和特征做版本管理,保证线上线下特征一致,可一键回滚
易错点
- 直接全量上线新模型
- 没有护栏指标和自动回滚
- 实验周期太短,被新奇效应误导
面试官常见追问
- 影子模式是什么?
- AA 测试有什么用?
- 什么是新奇效应?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。