大语言模型基础:KV Cache 与注意力变体
哪些公司问过
答案要点
- LLM 基于 Transformer,自回归生成,训练目标是预测下一个 token
- KV Cache 缓存历史 K、V,新一步只算新 token,避免重复计算
- 代价:显存随长度、层数、并发增长;decode 阶段受带宽限制
- MHA 各头独立 KV;MQA 全部共享;GQA 分组共享;MLA 压缩为低维潜向量
- Scaling Law:损失随参数量、数据量、算力呈幂律下降
易错点
- 把 KV Cache 说成缓存模型输出
- 忽略 KV Cache 的显存开销
- 分不清 MHA、MQA、GQA 的区别
- 把 Scaling Law 说成线性关系
面试官常见追问
- CNN 能不能做语言模型?
- 现在的大模型是什么架构?
- 多头注意力的“分头”和拼接是怎么做的?
- 除了 KV Cache,还有哪些推理优化?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。