CUDA kernel launch 时 CPU 端做了哪些事
哪些公司问过
答案要点
- nvcc 把 <<<>>> 改写为 cudaLaunchKernel 等运行时调用,并生成注册 fatbin 与 kernel 符号的代码
- 首次调用触发 context 初始化和模块加载,无匹配 SASS 时 PTX 需 JIT 编译,首次 launch 明显变慢
- 每次 launch:查找函数句柄、校验执行配置、按值打包 kernel 参数
- 驱动把命令写入 stream 对应的命令缓冲区并通知 GPU,调用异步返回,不等待执行完成
- 每次 launch 有微秒级 CPU 开销,可用 CUDA Graph、kernel 融合、合并小 kernel 降低
易错点
- 以为 launch 返回就代表 kernel 已执行完,不同步就计时会得到错误结果
- 把首次 launch 的初始化和 JIT 开销计入性能测试,应先预热
- 以为不调用同步也能及时发现非法访存等运行时错误
面试官常见追问
- launch 之后的错误怎么检查?
- CUDA Graph 为什么能降低 launch 开销?
- kernel 参数是怎么传到 GPU 的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。