混合精度训练为何仍会出现 NaN
哪些公司问过
答案要点
- FP16 动态范围小(最大 65504),大激活或注意力 logits 溢出成 inf 后产生 NaN
- 损失缩放不当:缩放过大导致梯度溢出,过小导致下溢;固定缩放更容易出问题
- 敏感算子:softmax、exp、log、除法、开方在低精度下不稳定,1e-8 级 eps 在 FP16 中会下溢为 0
- 流程问题:未先反缩放就做梯度裁剪,学习率过大或数据异常
- 处理:定位首个 NaN 层,敏感算子保留 FP32,使用动态损失缩放或改用 BF16
易错点
- 认为用了自动混合精度就不会有数值问题
- 在 FP16 下沿用 FP32 时很小的 eps 值
- 在反缩放之前做梯度裁剪,裁剪阈值失效
面试官常见追问
- BF16 为什么更不容易出 NaN?
- 怎么定位哪一层先出现 NaN?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。