面试题库 › 算法 / 大模型 › PyTorch GPU 计时与 synchronize 的问题

PyTorch GPU 计时与 synchronize 的问题

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:性能分析与调试

哪些公司问过

寒武纪1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. CUDA 操作异步执行,未同步时 CPU 计时只测到核函数启动开销
  2. 计时前后调用 torch.cuda.synchronize() 才能得到正确耗时
  3. 推荐 torch.cuda.Event(enable_timing=True),record 后同步,用 elapsed_time 取毫秒
  4. 预热排除初始化和 cuDNN 自动调优影响,多次运行取平均
  5. 训练循环中频繁同步、.item() 会破坏 CPU 与 GPU 的并行,降低吞吐

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题