面试题库 › 算法 / 大模型 › 给定模型与显卡如何估算训练和推理显存

给定模型与显卡如何估算训练和推理显存

难度 ★★☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:性能分析与调试

哪些公司问过

腾讯1上海人工智能实验室1

常见岗位:大模型算法、AI 应用 / Agent 开发

答案要点

  1. 推理:FP16每参数2字节,7B权重约14GB,另加KV Cache和缓冲
  2. KV Cache每token约2×层数×KV头数×头维度×字节数,随并发和长度线性增长
  3. 全参混合精度Adam训练约16字节/参数,7B约112GB,不含激活
  4. LoRA冻结基座显存大降,QLoRA进一步把基座量化到4比特
  5. 激活显存与batch和序列长度相关,可用激活重计算、ZeRO分片缓解

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题