大模型训练与推理的显存占用如何估算
哪些公司问过
答案要点
- 显存主要由权重、梯度、优化器状态、激活值组成,推理还要加KV Cache和临时缓冲
- 推理权重显存=参数量×精度字节数,7B模型FP16约14GB,INT8约7GB
- KV Cache≈2×层数×隐藏维度×序列长度×batch×字节数(GQA/MQA时按KV头数缩小)
- 混合精度+Adam训练通常按每参数约16字节估算静态显存,激活值另算
- 激活值随batch和序列长度增长,可用梯度检查点、ZeRO、offload降低
易错点
- 只算权重忘了KV Cache,长上下文、大batch时KV Cache可能超过权重本身
- 把训练显存等同于推理显存的两倍,忽略优化器状态和FP32主权重
- 混淆GB和GiB或忘记乘batch,导致估算偏差较大
面试官常见追问
- 为什么混合精度训练还要保留FP32主权重?
- ZeRO的三个阶段分别省了什么?
- 推理时显存不够有哪些办法?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。