GPU 上 GEMM 的经典优化手段
哪些公司问过
答案要点
- Shared Memory 分块:沿 K 维加载 A、B 子块到共享内存,块内复用,减少全局内存访问
- 寄存器分块:每线程计算 C 的小子块,用外积形式复用寄存器中的数据,提高计算访存比
- 向量化读写:用 float4 等 128 位访问,要求地址对齐,同时保证全局访存合并
- Double Buffer:双份共享内存缓冲,预取下一块与计算当前块重叠,可配合 cp.async
- 处理 bank conflict(转置存储、padding),并在支持的硬件上使用 Tensor Core
易错点
- 只做共享内存分块不做寄存器分块,共享内存带宽成为瓶颈
- float4 访问地址未对齐或矩阵维度不是 4 的倍数时未处理边界
- Double Buffer 中漏写或多写 __syncthreads,导致数据竞争或额外停顿
- 以为分块越大越好,忽略 occupancy 和资源上限
面试官常见追问
- 分块大小怎么选?
- 共享内存的 bank conflict 怎么产生、怎么避免?
- Double Buffer 的代价是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。