面试题库 › 算法 / 大模型 › CUDA Graph 的原理、显存开销与适用阶段

CUDA Graph 的原理、显存开销与适用阶段

难度 ★★★在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

小马智行1

常见岗位:推理部署与加速

答案要点

  1. CUDA Graph 预先捕获内核启动序列,整图提交重放,减少 CPU 启动开销
  2. 捕获时地址固定,需要静态输入输出缓冲区,中间显存在图存活期内保留
  3. 需按不同 batch 大小分别捕获多张图,显存成倍增加
  4. decode 阶段内核小而多、形状可分档固定,最适合使用
  5. prefill 长度多变且计算密集,启动开销占比低,收益较小

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题