面试题库 › 算法 / 大模型 › CUDA kernel launch 时 CPU 端做了哪些事

CUDA kernel launch 时 CPU 端做了哪些事

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:CUDA编程基础

哪些公司问过

沐曦1

常见岗位:推理部署与加速

答案要点

  1. nvcc 把 <<<>>> 改写为 cudaLaunchKernel 等运行时调用,并生成注册 fatbin 与 kernel 符号的代码
  2. 首次调用触发 context 初始化和模块加载,无匹配 SASS 时 PTX 需 JIT 编译,首次 launch 明显变慢
  3. 每次 launch:查找函数句柄、校验执行配置、按值打包 kernel 参数
  4. 驱动把命令写入 stream 对应的命令缓冲区并通知 GPU,调用异步返回,不等待执行完成
  5. 每次 launch 有微秒级 CPU 开销,可用 CUDA Graph、kernel 融合、合并小 kernel 降低

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题