如何编写一个 CUDA 算子
哪些公司问过
答案要点
- kernel 用 __global__ 声明,全局下标 = blockIdx.x*blockDim.x+threadIdx.x,并做越界判断
- host 端 cudaMalloc 分配、cudaMemcpy 拷贝、<<<grid, block>>> 启动、cudaFree 释放
- 启动后用 cudaGetLastError 检查错误,kernel 异步执行,需要同步后再取结果
- 接入 PyTorch 时写 C++ 包装,取 tensor 数据指针,在当前 stream 上启动并与参考实现对拍
- 优化:合并访存、共享内存分块、减少 warp 分支发散和 bank 冲突,用 Nsight 分析
易错点
- 忘记越界判断,数据量不是 block 大小整数倍时越界访问
- 把 kernel 启动当成同步调用,未同步就读取结果或测时间
- 只看 kernel 能跑通,不和 CPU 或框架参考实现对比数值正确性
面试官常见追问
- thread、block、grid 三个层级分别对应什么硬件?
- CUDA 的内存层次有哪些?
- 什么是合并访存,为什么重要?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。