面试题库 › 算法 / 大模型 › 大模型训练与推理的显存占用如何估算

大模型训练与推理的显存占用如何估算

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:性能分析与调试

哪些公司问过

美团1知乎1

常见岗位:大模型算法、推荐搜索广告

答案要点

  1. 显存主要由权重、梯度、优化器状态、激活值组成,推理还要加KV Cache和临时缓冲
  2. 推理权重显存=参数量×精度字节数,7B模型FP16约14GB,INT8约7GB
  3. KV Cache≈2×层数×隐藏维度×序列长度×batch×字节数(GQA/MQA时按KV头数缩小)
  4. 混合精度+Adam训练通常按每参数约16字节估算静态显存,激活值另算
  5. 激活值随batch和序列长度增长,可用梯度检查点、ZeRO、offload降低

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题