FlashAttention 与 Online Softmax
哪些公司问过
答案要点
- 标准注意力要在 HBM 中物化 N×N 矩阵:显存 O(N²),HBM 读写多,是瓶颈
- FlashAttention:分块(tiling)加载到 SRAM 计算,kernel 融合,不把 N×N 矩阵写回 HBM
- Online Softmax:维护当前最大值和分母,来新块时重新缩放旧结果,一次遍历得到精确结果
- 反向传播时重新计算注意力,不存储中间矩阵,显存降到线性
- 是精确计算而非近似,主要减少 HBM 访问,通常有数倍加速
易错点
- 说 FlashAttention 通过近似减少计算量
- 不知道瓶颈在 HBM 读写而不是算力
- 说不清 Online Softmax 为什么需要重新缩放
- 忽略反向传播时用重计算换显存
面试官常见追问
- Online Softmax 是怎么做到一次遍历的?
- 推理阶段显存消耗哪部分最多?
- FlashAttention 是近似注意力吗?
- 为什么减少 HBM 访问就能加速?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。