面试题库 › 算法 / 大模型 › FlashAttention v1-v3 与 FlashDecoding 原理

FlashAttention v1-v3 与 FlashDecoding 原理

难度 ★★★在 3 场真实面经中被问到 方向:算法 / 大模型考点:注意力机制优化

哪些公司问过

字节跳动1百度1

常见岗位:推理部署与加速、大模型算法、推荐搜索广告

答案要点

  1. 标准注意力瓶颈在T×T矩阵的HBM读写,FlashAttention做IO感知优化
  2. v1:分块到SRAM加在线softmax,结果精确,显存O(T),反向重计算
  3. v2:减少非矩阵乘开销,增加序列维并行,改善warp工作划分
  4. v3:面向Hopper,用TMA、WGMMA异步特性重叠计算与搬运,支持FP8
  5. FlashDecoding:解码时沿KV长度切分并行,再用log-sum-exp归并

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题