MLA 是否对 Query 做了压缩
哪些公司问过
答案要点
- MLA对Query也做了低秩压缩:h→c_Q→各头q,DeepSeek-V2论文明确提到
- Query压缩不减少KV Cache,主要为降低训练激活显存
- KV压缩成低维潜向量c_KV缓存,是降低推理KV Cache的核心
- 解耦RoPE:q_R由c_Q投影得到,k_R跨头共享且单独缓存
- 推理时W_UK可吸收进Query侧、W_UV吸收进输出投影,无需显式还原K、V
易错点
- 断言MLA不压缩Query
- 把Query压缩的目的说成减少KV Cache
- 忽略解耦RoPE,说不清位置信息如何处理
面试官常见追问
- 为什么RoPE和低秩KV压缩不兼容?
- MLA和GQA、MQA相比好在哪?
- MLA推理时缓存的到底是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。