手写 CUDA 或 Triton 的 reduce sum 归约 kernel
哪些公司问过
答案要点
- 两级归约:块内归约得到部分和,再 atomicAdd 或第二个 kernel 跨块合并
- grid-stride 循环让每个线程先在寄存器中累加多个元素,提高带宽利用率
- 共享内存树形归约用连续寻址(步长减半),避免 bank conflict、减少 warp 内分化
- 最后一个 warp 用 __shfl_down_sync 在寄存器内归约,减少同步开销
- Triton:program_id 计算偏移,带 mask 的 tl.load,tl.sum 块内求和,tl.atomic_add 汇总
易错点
- 交错寻址的树形归约导致严重线程分化或 bank conflict
- 每轮归约之间漏写 __syncthreads,读到未更新的值
- 所有线程直接对全局变量 atomicAdd,竞争严重、性能很差
面试官常见追问
- warp shuffle 怎么用于归约?
- 多个 block 的结果怎么合并?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。