面试题库 › 算法 / 大模型 › FlashAttention 与 Online Softmax

FlashAttention 与 Online Softmax

难度 ★★★在 19 场真实面经中被问到 方向:算法 / 大模型考点:注意力机制优化

哪些公司问过

美团4百度4高德1华为1中兴1阿里巴巴1知乎1阿里云1小米汽车1宇树科技1

常见岗位:大模型算法、AI 应用 / Agent 开发、推理部署与加速、人工智能、机器学习算法(泛)

答案要点

  1. 标准注意力要在 HBM 中物化 N×N 矩阵:显存 O(N²),HBM 读写多,是瓶颈
  2. FlashAttention:分块(tiling)加载到 SRAM 计算,kernel 融合,不把 N×N 矩阵写回 HBM
  3. Online Softmax:维护当前最大值和分母,来新块时重新缩放旧结果,一次遍历得到精确结果
  4. 反向传播时重新计算注意力,不存储中间矩阵,显存降到线性
  5. 是精确计算而非近似,主要减少 HBM 访问,通常有数倍加速

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题