面试题库 › 算法 / 大模型 › Attention 的时间与空间复杂度及加速方法

Attention 的时间与空间复杂度及加速方法

难度 ★☆☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:注意力机制

哪些公司问过

字节跳动3阿里巴巴1

常见岗位:大模型算法、推荐搜索广告

答案要点

  1. 标准自注意力时间复杂度为 O(n²·d),主要来自 QK^T 和乘 V
  2. 线性投影为 O(n·d²),序列较短时这部分占主导
  3. 朴素实现空间复杂度 O(n²),需要存储注意力矩阵
  4. 有 KV Cache 时,解码每步约 O(n·d)
  5. FlashAttention 不降计算量但降显存与访存;稀疏、线性注意力改变复杂度

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题