训练 Loss 震荡的原因分析与排查
哪些公司问过
答案要点
- 优化:学习率过大、batch 过小、未做梯度裁剪、优化器配置不当
- 数据:脏数据与标签噪声、未打乱导致周期性波动、输入未归一化
- 模型:初始化不当、小 batch 下 BN 不稳、混合精度溢出
- 监控:每步 loss、学习率、全局及分层梯度范数、权重范数
- 定位:记录高 loss 样本,用小子集验证能否过拟合,排除代码 bug
易错点
- 一看到震荡就只调学习率,不检查数据和代码
- 把正常的 mini-batch 波动当成问题:应看平滑后的趋势
- 忽略梯度范数监控,错过梯度爆炸的信号
面试官常见追问
- 训练时打印什么能定位问题?
- 训练 loss 平稳下降但验证 loss 震荡说明什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。