面试题库 › 算法 / 大模型 › GQA的原理是什么?为何性能能接近MHA?

GQA的原理是什么?为何性能能接近MHA?

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:大模型结构演进

哪些公司问过

腾讯1蚂蚁集团1初创公司1

常见岗位:推荐搜索广告、大模型算法

答案要点

  1. GQA把查询头分组,组内共享一组K、V头
  2. 介于MHA(每头独立KV)与MQA(所有头共享KV)之间,MQA是组数为1的特例
  3. KV Cache大小与KV头数成正比,GQA降低显存占用和访存带宽
  4. 解码阶段受访存限制,KV变小可提升速度、支持更长上下文和更大批量
  5. 保留多组KV,质量接近MHA;可由MHA检查点合并KV头后继续训练得到

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题