部署大模型如何估算显存等资源需求
哪些公司问过
答案要点
- 权重显存 = 参数量 × 每参数字节数,7B 模型 FP16 约 14 GB
- KV Cache = 2 × 层数 × KV 头数 × 头维度 × 序列长 × 并发 × 字节数
- GQA 减少 KV 头数,可显著降低 KV Cache
- 加上激活、临时缓冲和框架开销,预留余量
- 放不下时可量化、张量并行、限制并发或 offload
易错点
- 只算权重,不算 KV Cache
- 用注意力头数而非 KV 头数计算 GQA 模型的 KV Cache
- 不留余量,高并发时显存溢出
面试官常见追问
- 训练比推理需要多少显存?
- vLLM 怎么提升显存利用率?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。