CUDA Graph 的原理、显存开销与适用阶段
哪些公司问过
答案要点
- CUDA Graph 预先捕获内核启动序列,整图提交重放,减少 CPU 启动开销
- 捕获时地址固定,需要静态输入输出缓冲区,中间显存在图存活期内保留
- 需按不同 batch 大小分别捕获多张图,显存成倍增加
- decode 阶段内核小而多、形状可分档固定,最适合使用
- prefill 长度多变且计算密集,启动开销占比低,收益较小
易错点
- 把 CUDA Graph 和图分析库 cuGraph 混为一谈
- 认为 prefill 阶段用 CUDA Graph 收益最大
- 忽视图要求地址和形状固定,动态形状下需要分档捕获
面试官常见追问
- 跨 block 怎么通信?举几个 warp 原语的例子。
- 对 PTX 机器模型怎么理解?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。