模型效果提升如何归因并排除无关变量
哪些公司问过
答案要点
- 固定评测集、解码参数、数据和随机种子,一次只改一个变量
- 对照要同等预算:基线扩到相同参数量或 FLOPs,排除单纯变大带来的收益
- 多种子重复实验,比较均值与方差,提升要超出随机波动
- 分阶段保留基模、SFT、RL 检查点,在同一评测和错误类型分布上逐级对比归因
- 离线结论用线上 A/B 验证,并检查评测数据是否泄漏进训练集
易错点
- 新方法参数量或训练步数更多,却和小基线直接比
- 只跑一次实验就下结论,忽略随机波动
- 多个改动同时上线,事后无法区分各自贡献
- 评测集被训练数据污染,离线指标虚高
面试官常见追问
- 消融实验里怎么证明性能提升来自新增模块?
- 每次改动应该看哪些指标?
- 为什么要跑多个随机种子?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。