训练一个 32B 参数的模型大约需要多少 GPU 资源?
哪些公司问过
答案要点
- 显存由参数、梯度、优化器状态、激活四部分组成
- BF16 混合精度加 Adam 约 16 字节/参数,32B 参数仅状态就约 512GB
- 需 ZeRO-3/FSDP 切分状态,结合张量并行、流水线并行和激活重计算
- 8 张 80GB 卡理论上勉强放下,实际常需更多卡给激活和通信留余量
- 算力估算:总计算量约 6×参数量×token 数,除以单卡有效算力得卡时;微调可用 LoRA/QLoRA
易错点
- 只算参数本身的显存,忽略梯度、优化器状态和激活
- 把推理显存需求当成训练需求
- 只估显存不估训练时长,导致卡数规划不足
面试官常见追问
- 推理部署 32B 模型需要多少显存?
- 激活显存和什么有关?如何降低?
- ZeRO 的三个阶段分别切分什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。