面试题库 › C++ / 后端 › MLA 是否对 Query 做了压缩

MLA 是否对 Query 做了压缩

难度 ★★★在 1 场真实面经中被问到 方向:C++ / 后端考点:大模型结构演进

哪些公司问过

虾皮1

常见岗位:大模型算法

答案要点

  1. MLA对Query也做了低秩压缩:h→c_Q→各头q,DeepSeek-V2论文明确提到
  2. Query压缩不减少KV Cache,主要为降低训练激活显存
  3. KV压缩成低维潜向量c_KV缓存,是降低推理KV Cache的核心
  4. 解耦RoPE:q_R由c_Q投影得到,k_R跨头共享且单独缓存
  5. 推理时W_UK可吸收进Query侧、W_UV吸收进输出投影,无需显式还原K、V

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题