面试题库 › 算法 / 大模型 › Flash Attention 与 Paged Attention 的区别和原理

Flash Attention 与 Paged Attention 的区别和原理

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型

哪些公司问过

字节跳动1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. FlashAttention 优化计算:分块放入 SRAM、在线 softmax,减少 HBM 读写,结果精确
  2. FlashAttention 不存完整 N×N 矩阵,反向重计算,额外显存从平方降到线性
  3. PagedAttention 来自 vLLM,把 KV Cache 分成固定大小块,块表映射到非连续物理块
  4. 分页按需分配,减少碎片和预留浪费,支持前缀共享和写时复制
  5. 两者正交可结合:一个管计算访存,一个管 KV 显存,可在同一推理内核中使用

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。