PyTorch GPU 计时与 synchronize 的问题
哪些公司问过
答案要点
- CUDA 操作异步执行,未同步时 CPU 计时只测到核函数启动开销
- 计时前后调用 torch.cuda.synchronize() 才能得到正确耗时
- 推荐 torch.cuda.Event(enable_timing=True),record 后同步,用 elapsed_time 取毫秒
- 预热排除初始化和 cuDNN 自动调优影响,多次运行取平均
- 训练循环中频繁同步、.item() 会破坏 CPU 与 GPU 的并行,降低吞吐
易错点
- 不同步直接用 CPU 计时,得到偏小的耗时
- 不预热就计时,把初始化开销算进去
- 为了打印损失每步调用 .item(),无意中拖慢训练
面试官常见追问
- 哪些操作会隐式同步?
- 还有什么更系统的性能分析工具?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。