给定模型与显卡如何估算训练和推理显存
哪些公司问过
腾讯1上海人工智能实验室1
答案要点
- 推理:FP16每参数2字节,7B权重约14GB,另加KV Cache和缓冲
- KV Cache每token约2×层数×KV头数×头维度×字节数,随并发和长度线性增长
- 全参混合精度Adam训练约16字节/参数,7B约112GB,不含激活
- LoRA冻结基座显存大降,QLoRA进一步把基座量化到4比特
- 激活显存与batch和序列长度相关,可用激活重计算、ZeRO分片缓解
易错点
- 只算权重显存,忽略优化器状态、梯度、激活和KV Cache
- 把Adam训练的显存按每参数2字节估算,严重低估
- 忽略长上下文和高并发下KV Cache可能超过权重本身
面试官常见追问
- 7B模型做GRPO训练,显存开销包括哪些?
- 显卡利用率怎么算?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。