面试题库 › 算法 / 大模型 › FP32、FP16、BF16 的区别与训练选型

FP32、FP16、BF16 的区别与训练选型

难度 ★★★在 11 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

美团2小红书2爱奇艺2腾讯1阿里巴巴1寒武纪1阶跃星辰1后摩智能1

常见岗位:大模型算法、AI 应用 / Agent 开发、推理部署与加速

答案要点

  1. FP32:8 位指数、23 位尾数;FP16:5 位指数、10 位尾数;BF16:8 位指数、7 位尾数
  2. BF16 动态范围与 FP32 相同,精度较低;FP16 精度较高,但范围小,易溢出
  3. 大模型训练常用 BF16 混合精度:BF16 计算,FP32 主权重和优化器状态
  4. FP16 训练需要损失缩放;累加等敏感操作用 FP32
  5. INT8 等量化主要用于推理;选型需看硬件支持

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题