面试题库 › 算法 / 大模型 › MLA 多头潜在注意力原理及推理加速

MLA 多头潜在注意力原理及推理加速

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:KV Cache优化

哪些公司问过

美团1

常见岗位:大模型算法

答案要点

  1. 低秩联合压缩:隐状态降维为潜在向量,K、V 由其上投影得到,只缓存潜在向量
  2. 矩阵吸收:K 的上投影并入 Q 投影,V 的上投影并入输出投影,推理无需显式还原 K、V
  3. 解耦 RoPE:用一小段多头共享的 key 维度单独承载位置信息并缓存
  4. 加速来源:解码受显存带宽限制,KV 缓存变小可减少读取、增大批量、延长上下文
  5. DeepSeek-V2 报告中效果与标准多头注意力相当,KV 缓存大幅减少

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题