面试题库 › 算法 / 大模型 › 长上下文场景下如何优化 attention 的计算与显存开销?

长上下文场景下如何优化 attention 的计算与显存开销?

难度 ★★★在 3 场真实面经中被问到 方向:算法 / 大模型考点:注意力机制优化

哪些公司问过

百度2AI Agent 面试通用题库1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 标准 attention 计算与注意力矩阵为 O(n²),推理时 KV Cache 随长度线性增长
  2. FlashAttention 分块计算、不存完整注意力矩阵,结果精确,主要省显存和访存
  3. 滑动窗口、稀疏注意力、线性注意力降低计算量,但可能影响效果
  4. GQA/MQA、KV Cache 量化、分页管理与 token 淘汰降低推理显存
  5. 应用层用检索增强、摘要压缩只保留相关上下文

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题