面试题库 › C++ / 后端 › 自注意力O(n²)复杂度的优化方法

自注意力O(n²)复杂度的优化方法

难度 ★★☆在 1 场真实面经中被问到 方向:C++ / 后端考点:大模型结构演进

哪些公司问过

快手1

常见岗位:大模型算法

答案要点

  1. 标准自注意力时间复杂度 O(n²d),显存瓶颈是 n×n 的注意力分数矩阵,n 为序列长度
  2. 稀疏/局部注意力:滑动窗口降到 O(nw),Longformer、BigBird 加全局 token 和随机连接保留长程依赖
  3. 低秩与核方法:Linformer 把 K、V 沿序列维投影到 k 维;Performer 用随机特征近似 softmax,借矩阵乘法结合律实现线性复杂度
  4. FlashAttention 是精确注意力,靠分块与在线 softmax 减少显存读写,FLOPs 不变但显存线性、实际更快
  5. 推理侧配合 KV Cache、MQA/GQA 降低缓存显存;另有 Mamba 等线性复杂度的替代架构

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题