面试题库 › 算法 / 大模型 › 手写 CUDA 或 Triton 的 reduce sum 归约 kernel

手写 CUDA 或 Triton 的 reduce sum 归约 kernel

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:CUDA性能优化

哪些公司问过

英伟达1

常见岗位:推理部署与加速

答案要点

  1. 两级归约:块内归约得到部分和,再 atomicAdd 或第二个 kernel 跨块合并
  2. grid-stride 循环让每个线程先在寄存器中累加多个元素,提高带宽利用率
  3. 共享内存树形归约用连续寻址(步长减半),避免 bank conflict、减少 warp 内分化
  4. 最后一个 warp 用 __shfl_down_sync 在寄存器内归约,减少同步开销
  5. Triton:program_id 计算偏移,带 mask 的 tl.load,tl.sum 块内求和,tl.atomic_add 汇总

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题