CUDA访存优化:以ReduceSum算子为例
哪些公司问过
答案要点
- ReduceSum是访存受限算子,目标是逼近显存带宽,以实际带宽利用率衡量
- 合并访存加grid-stride循环,每线程先在寄存器累加多个元素
- 对齐时用float4向量化加载,减少访存指令数
- 块内先warp shuffle归约,再经共享内存汇总,注意bank冲突与warp分化
- 图层面做算子融合、inplace与内存复用,减少中间结果读写显存
易错点
- 归约时线程用取模判断活跃,导致严重warp分化
- 向量化加载不检查地址对齐和尾部元素
- 只看kernel耗时,不对照理论带宽判断优化空间
面试官常见追问
- 共享内存树形归约里交错寻址和连续寻址有什么区别?
- 为什么要让每个线程处理多个元素?
- 多块结果用atomicAdd汇总有什么问题?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。