GQA的原理是什么?为何性能能接近MHA?
哪些公司问过
答案要点
- GQA把查询头分组,组内共享一组K、V头
- 介于MHA(每头独立KV)与MQA(所有头共享KV)之间,MQA是组数为1的特例
- KV Cache大小与KV头数成正比,GQA降低显存占用和访存带宽
- 解码阶段受访存限制,KV变小可提升速度、支持更长上下文和更大批量
- 保留多组KV,质量接近MHA;可由MHA检查点合并KV头后继续训练得到
易错点
- 把GQA说成减少查询头数,实际减少的是KV头数
- 把训练加速当成GQA的主要收益
- 分不清MQA和GQA的关系
面试官常见追问
- KV Cache大小怎么估算?
- GQA对训练有加速作用吗?
- MLA和GQA有什么不同?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。