Flash Attention 与 Paged Attention 的区别和原理
哪些公司问过
答案要点
- FlashAttention 优化计算:分块放入 SRAM、在线 softmax,减少 HBM 读写,结果精确
- FlashAttention 不存完整 N×N 矩阵,反向重计算,额外显存从平方降到线性
- PagedAttention 来自 vLLM,把 KV Cache 分成固定大小块,块表映射到非连续物理块
- 分页按需分配,减少碎片和预留浪费,支持前缀共享和写时复制
- 两者正交可结合:一个管计算访存,一个管 KV 显存,可在同一推理内核中使用
易错点
- 误以为 FlashAttention 减少了计算量,它主要减少访存,计算量相近
- 混淆两者:PagedAttention 不改变注意力数学,只改变 KV 存储布局
- 把 PagedAttention 说成训练优化,它主要用于推理服务
面试官常见追问
- FlashAttention 是近似算法吗?
- 为什么 KV Cache 连续分配会浪费显存?
- 在线 softmax 怎么做到分块计算?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。