训练中 loss 出现 NaN 的原因与解决方法
答案要点
- 梯度爆炸:学习率过大、网络过深、初始化不当导致参数发散
- 非法数值运算:log(0)、除零、负数开方、exp 溢出
- 数据问题:输入含 NaN/Inf、标签越界或预处理错误
- fp16 动态范围小易上溢,需要 loss scaling 或改用 bf16
- 排查:查数据、监控梯度范数、detect_anomaly 定位算子;修复:降学习率、warmup、梯度裁剪、加 eps
易错点
- 只盯着 loss 曲线,不检查梯度范数和输入数据
- 先算 softmax 再取 log,而不是直接用数值稳定的 log_softmax
- BatchNorm 遇到 batch 很小或方差为 0 时也可能出数值问题,容易被忽略
面试官常见追问
- 梯度裁剪怎么做,裁剪阈值怎么选?
- 混合精度训练为什么容易出 NaN,GradScaler 做了什么?
- 训练一开始 loss 就是 NaN 和训练中途才出现,排查重点有什么不同?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。