CUDA Graph 的原理与使用场景
哪些公司问过
答案要点
- 把一系列 GPU 操作及依赖预先捕获成图,实例化后一次调用即可执行
- 减少 CPU 逐个启动核函数的开销,提高 GPU 利用率
- 通过流捕获:捕获模式下运行一遍,再实例化并重复启动
- 适合形状和地址固定、重复执行的场景,如大模型解码,为常用批大小各捕获一张图
- 限制:形状或地址变化需重新捕获;动态形状按几档尺寸分桶补齐后复用
易错点
- 说 CUDA Graph 能加速核函数本身的计算
- 忽略形状和地址必须固定的限制
- 把图和流混为一谈
面试官常见追问
- 为什么大模型解码适合用 CUDA Graph?
- CUDA Graph 有什么限制?
- PTX 是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。