长上下文场景下如何优化 attention 的计算与显存开销?
哪些公司问过
百度2AI Agent 面试通用题库1
答案要点
- 标准 attention 计算与注意力矩阵为 O(n²),推理时 KV Cache 随长度线性增长
- FlashAttention 分块计算、不存完整注意力矩阵,结果精确,主要省显存和访存
- 滑动窗口、稀疏注意力、线性注意力降低计算量,但可能影响效果
- GQA/MQA、KV Cache 量化、分页管理与 token 淘汰降低推理显存
- 应用层用检索增强、摘要压缩只保留相关上下文
易错点
- 说 FlashAttention 把复杂度降到线性
- 只考虑训练计算,忽略推理时 KV Cache 的显存瓶颈
- 认为上下文窗口越长模型就一定能用好全部信息
面试官常见追问
- FlashAttention 降低了计算复杂度吗?
- 模型训练时上下文较短,怎么扩展到更长?
- 上下文压缩有哪些方法?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。