CUDA 是如何实现模型加速的
答案要点
- GPU 有大量核心,深度学习以矩阵乘、卷积、逐元素运算为主,天然适合数据并行
- 编程模型:核函数按网格、线程块、线程组织,32 个线程组成 warp,以 SIMT 方式执行
- 访存优化是关键:合并访问、共享内存分块复用、减少全局显存读写
- 依靠 cuBLAS、cuDNN 等库和 Tensor Core 低精度混合精度计算提升吞吐
- 算子融合减少中间结果读写,多流重叠计算与拷贝,CUDA Graph 降低启动开销
易错点
- 只说 GPU 核心多,不讲访存层次和带宽瓶颈
- 以为所有计算放到 GPU 都会变快,忽略主机与设备之间拷贝和内核启动的开销
- 把线程块和 warp 混为一谈,说不清 warp 是硬件调度单位
- 忽略低精度计算需要处理数值溢出,比如 FP16 训练常配合损失缩放
面试官常见追问
- 什么是 warp 分歧,对性能有什么影响?
- 为什么算子融合能加速?
- 怎么判断一个算子是计算瓶颈还是访存瓶颈?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。