FlashAttention v1-v3 与 FlashDecoding 原理
哪些公司问过
答案要点
- 标准注意力瓶颈在T×T矩阵的HBM读写,FlashAttention做IO感知优化
- v1:分块到SRAM加在线softmax,结果精确,显存O(T),反向重计算
- v2:减少非矩阵乘开销,增加序列维并行,改善warp工作划分
- v3:面向Hopper,用TMA、WGMMA异步特性重叠计算与搬运,支持FP8
- FlashDecoding:解码时沿KV长度切分并行,再用log-sum-exp归并
易错点
- 说FlashAttention是近似注意力,它的结果是精确的
- 以为它减少了计算量,实际主要减少访存,反向还多了重计算
- 把FlashDecoding的并行维度说成batch或头数,其关键是沿KV序列长度切分
面试官常见追问
- FlashAttention和vLLM分别优化什么?
- FusedAttention是怎么优化的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。