KV Cache 的优化
哪些公司问过
答案要点
- KV Cache:缓存历史 token 的 K、V,避免重复计算;显存随序列长度和 batch 线性增长
- 减小体积:MQA/GQA 共享 KV 头,MLA 低秩压缩,KV 量化(INT8/FP8)
- PagedAttention(vLLM):KV 切成固定块,用块表映射到不连续显存,减少碎片
- 复用:前缀缓存,多个请求共享相同前缀的 KV
- 长文本:滑动窗口、淘汰不重要的 token、卸载到 CPU,配合连续批处理提高吞吐
易错点
- 说 KV Cache 能减少显存:它是用显存换计算
- 不知道 GQA、MQA 是通过共享 KV 头缩小缓存
- 说不清 PagedAttention 的块表机制
- 忽略 KV 量化对精度的影响
面试官常见追问
- 文本过长时 KV Cache 占用过大怎么办?
- PagedAttention 解决了什么问题?
- KV Cache 占多少显存怎么估算?
- 前缀缓存是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。