CUDA 大规模归约(Reduction)如何设计与优化
哪些公司问过
答案要点
- 折半(树形)归约:每轮步长减半、活跃线程减半,把O(n)串行依赖变成O(log n)轮
- 先用grid-stride循环让每个线程累加多个元素,减少block数与同步次数
- warp内用__shfl_down_sync在寄存器间归约,无需共享内存和块内同步
- block级:各warp结果写共享内存,__syncthreads后由一个warp收尾
- 跨block用二次kernel或atomicAdd;原子方式简单但有竞争,浮点求和顺序不确定
易错点
- 共享内存归约每轮之间漏写__syncthreads,读到未写完的数据
- 在只有部分线程进入的条件分支里调用__syncthreads,导致死锁或未定义行为
- 依赖warp隐式同步而不用_sync指令或__syncwarp,在Volta及之后架构上可能出错
- n不是线程数整数倍时没处理越界,应用单位元(如求和用0)填充
面试官常见追问
- 共享内存折半归约为什么用tid < s的连续寻址,而不是tid % (2*s) == 0?
- 最后32个元素为什么可以不用__syncthreads?
- 用atomicAdd做浮点归约,结果每次略有不同怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。