KV Cache 的作用与显存占用估算
哪些公司问过
答案要点
- KV Cache 缓存历史 token 的 K、V,避免每步重复计算
- 显存 ≈ 2 × 层数 × KV 头数 × 头维度 × 序列长度 × batch × 字节数
- GQA/MQA 下用 KV 头数计算,可大幅减小缓存
- 与序列长度和并发线性增长,长上下文时常超过权重占用
- 优化:GQA、KV 量化、PagedAttention、前缀缓存、滑动窗口等
易错点
- GQA 模型仍用查询头数计算,结果偏大
- 忘记乘以 2 或数据类型字节数
- 以为 KV Cache 能减少 prefill 计算量
面试官常见追问
- Prefix Cache 是什么?
- 张量并行下各模块怎么汇总结果?
- vLLM V0 和 V1 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。