Attention 的时间与空间复杂度及加速方法
哪些公司问过
答案要点
- 标准自注意力时间复杂度为 O(n²·d),主要来自 QK^T 和乘 V
- 线性投影为 O(n·d²),序列较短时这部分占主导
- 朴素实现空间复杂度 O(n²),需要存储注意力矩阵
- 有 KV Cache 时,解码每步约 O(n·d)
- FlashAttention 不降计算量但降显存与访存;稀疏、线性注意力改变复杂度
易错点
- 说 FlashAttention 把复杂度降成线性
- 只看 n²,忽略 d 和投影层的开销
- 把时间复杂度和空间复杂度混为一谈
面试官常见追问
- Flash Attention 为什么能加速?
- 推荐系统或 NLP 里有哪些加速 Attention 的方法?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。