MLA 多头潜在注意力原理及推理加速
哪些公司问过
答案要点
- 低秩联合压缩:隐状态降维为潜在向量,K、V 由其上投影得到,只缓存潜在向量
- 矩阵吸收:K 的上投影并入 Q 投影,V 的上投影并入输出投影,推理无需显式还原 K、V
- 解耦 RoPE:用一小段多头共享的 key 维度单独承载位置信息并缓存
- 加速来源:解码受显存带宽限制,KV 缓存变小可减少读取、增大批量、延长上下文
- DeepSeek-V2 报告中效果与标准多头注意力相当,KV 缓存大幅减少
易错点
- 说 MLA 缓存的是压缩后的 K 和 V 两份,实际是一个共享潜在向量
- 忽略 RoPE 与矩阵吸收的冲突以及解耦 RoPE 的设计
- 说加速来自计算量减少,实际主要来自显存读取减少
面试官常见追问
- MLA 和 GQA、MQA 有什么区别?
- MLA 有什么代价?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。