模型上线后效果下降的排查思路
哪些公司问过
答案要点
- 特征穿越:训练用了未来信息或线上不可得特征,离线指标虚高
- 线上线下特征计算逻辑、默认值、词表或模型版本不一致
- 标签口径或标签延迟不同,导致线上评估样本与训练不可比
- 数据分布漂移或特征大面积缺失,需监控特征分布
- 落日志线上特征并离线重打分,逐环节对比定位问题
易错点
- 一上来就调模型结构,而没先排查数据和特征链路
- 训练测试随机切分而非按时间切分,掩盖了穿越问题
- 只看整体指标,不按特征、人群分维度对比差异
面试官常见追问
- 训练正常但离线评测突然下降,怎么定位?
- 怎么从机制上避免线上线下不一致?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。