面试题库 › 算法 / 大模型 › 混合精度训练为何仍会出现 NaN

混合精度训练为何仍会出现 NaN

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

Shopee1

常见岗位:大模型算法

答案要点

  1. FP16 动态范围小(最大 65504),大激活或注意力 logits 溢出成 inf 后产生 NaN
  2. 损失缩放不当:缩放过大导致梯度溢出,过小导致下溢;固定缩放更容易出问题
  3. 敏感算子:softmax、exp、log、除法、开方在低精度下不稳定,1e-8 级 eps 在 FP16 中会下溢为 0
  4. 流程问题:未先反缩放就做梯度裁剪,学习率过大或数据异常
  5. 处理:定位首个 NaN 层,敏感算子保留 FP32,使用动态损失缩放或改用 BF16

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题