FP32、FP16、BF16 的区别与训练选型
哪些公司问过
答案要点
- FP32:8 位指数、23 位尾数;FP16:5 位指数、10 位尾数;BF16:8 位指数、7 位尾数
- BF16 动态范围与 FP32 相同,精度较低;FP16 精度较高,但范围小,易溢出
- 大模型训练常用 BF16 混合精度:BF16 计算,FP32 主权重和优化器状态
- FP16 训练需要损失缩放;累加等敏感操作用 FP32
- INT8 等量化主要用于推理;选型需看硬件支持
易错点
- 把 BF16 说成精度比 FP16 更高
- 记错各格式的指数位和尾数位
- FP16 训练不做损失缩放
- 混淆混合精度与全部用低精度
面试官常见追问
- 训练与推理精度不一致的问题怎么解决?
- DeepSpeed 的三个阶段是什么?
- 为什么 FP16 训练需要损失缩放?
- 混合精度训练为什么要保存 FP32 主权重?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。