CUDA 中的 block 是软件还是硬件概念
哪些公司问过
答案要点
- block(线程块)是 CUDA 编程模型中的软件概念:grid → block → thread,大小在启动 kernel 时指定
- 硬件映射:每个 block 整体调度到一个 SM 上执行,执行期间不会迁移
- 一个 SM 可同时驻留多个 block,数量受寄存器、共享内存和线程数限制,决定占用率
- block 内线程按 32 个一组组成 warp,warp 是硬件实际调度执行的单位
- 同一 block 内可用共享内存通信并用 __syncthreads 同步,不同 block 之间默认不能直接同步
易错点
- 把 block 和 SM 一一对应,实际一个 SM 可同时承载多个 block
- 认为 block 是硬件调度的最小单位,实际是 warp
- 以为不同 block 之间能用 __syncthreads 同步
面试官常见追问
- block 大小怎么选?
- 如果问的是 Transformer block 或流水线并行的划分呢?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。