CUDA 矩阵转置、向量外积与 GEMM 优化
哪些公司问过
汇川联合动力1
答案要点
- 转置:shared memory 分块,读写都保证全局内存合并访问
- 按列读 shared memory 会 bank conflict,32×33 填充一列消除冲突
- 外积每线程算一个或多个元素,瓶颈在写 C,需合并写并可 float4 向量化
- GEMM:shared memory 分块 + 寄存器分块提高计算访存比
- float4 向量化、双缓冲隐藏访存延迟,可进一步使用 Tensor Core
易错点
- 分块后忘记 __syncthreads,读到未写完的 shared memory
- 矩阵尺寸不是块大小整数倍时没做边界判断导致越界
- 只优化读合并,忽略写回全局内存是否合并
面试官常见追问
- 为什么填充一列就能消除 bank conflict?
- 怎么判断 kernel 是访存瓶颈还是计算瓶颈?
- GEMM 中双缓冲怎么实现?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。