面试题库 › 算法 / 大模型 › 训练一个 32B 参数的模型大约需要多少 GPU 资源?

训练一个 32B 参数的模型大约需要多少 GPU 资源?

难度 ★★★在 4 场真实面经中被问到 方向:算法 / 大模型

哪些公司问过

同花顺3腾讯1

常见岗位:大模型算法

答案要点

  1. 显存由参数、梯度、优化器状态、激活四部分组成
  2. BF16 混合精度加 Adam 约 16 字节/参数,32B 参数仅状态就约 512GB
  3. 需 ZeRO-3/FSDP 切分状态,结合张量并行、流水线并行和激活重计算
  4. 8 张 80GB 卡理论上勉强放下,实际常需更多卡给激活和通信留余量
  5. 算力估算:总计算量约 6×参数量×token 数,除以单卡有效算力得卡时;微调可用 LoRA/QLoRA

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。