CUDA GEMM 分块优化与 shared memory 大小选择
哪些公司问过
答案要点
- 三级分块:线程块 tile(BM×BN×BK)→ shared memory → 线程 tile(TM×TN)寄存器
- shared memory 大小 = (BM×BK + BK×BN) × 元素字节数,双缓冲再乘 2
- 块大小权衡:复用率与 shared memory、寄存器用量和占用率
- 8×8 线程 tile:每步 16 次加载换 64 次乘加,计算访存比高,寄存器压力可控
- 配套优化:向量化与合并访存、消除 bank conflict、双缓冲预取、Tensor Core
易错点
- 只讲 shared memory 不讲寄存器分块:没有线程级 tile,计算访存比仍然不高
- 线程 tile 越大越好:寄存器溢出到 local memory 会大幅变慢
- 忘了双缓冲会让 shared memory 用量翻倍,影响占用率
面试官常见追问
- 什么是 bank conflict,怎么减少?
- Little's Law 和访存延迟有什么关系?
- 用 CUDA 写算子的主要难点?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。