面试题库 › 算法 / 大模型 › 模型在线更新与 A/B 测试如何安全实施

模型在线更新与 A/B 测试如何安全实施

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:评估与AB实验

哪些公司问过

元戎启行2

常见岗位:人工智能、自动驾驶

答案要点

  1. 上线前离线评估和流量回放,影子模式并行对比但不生效
  2. 灰度:按用户哈希分桶,小流量逐步放大,同一用户始终同组
  3. 设置核心指标和护栏指标,触发阈值自动回滚
  4. AB 实验:随机分流、足够样本量、足够周期、避开新奇效应,用 AA 测试验证
  5. 模型和特征做版本管理,保证线上线下特征一致,可一键回滚

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题