面试题库 › 算法 / 大模型 › CUDA Graph 的原理与使用场景

CUDA Graph 的原理与使用场景

难度 ★★★在 4 场真实面经中被问到 方向:算法 / 大模型考点:CUDA编程基础

哪些公司问过

华为2寒武纪2

常见岗位:推理部署与加速、大模型算法

答案要点

  1. 把一系列 GPU 操作及依赖预先捕获成图,实例化后一次调用即可执行
  2. 减少 CPU 逐个启动核函数的开销,提高 GPU 利用率
  3. 通过流捕获:捕获模式下运行一遍,再实例化并重复启动
  4. 适合形状和地址固定、重复执行的场景,如大模型解码,为常用批大小各捕获一张图
  5. 限制:形状或地址变化需重新捕获;动态形状按几档尺寸分桶补齐后复用

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题