用 Triton 写 GPU kernel 能解决什么问题
哪些公司问过
答案要点
- Triton 是 Python 风格的 GPU kernel 语言与编译器,按块编程,线程映射、访存合并、共享内存由编译器处理
- 核心收益:把多个逐元素或归约算子融合成一个 kernel,减少中间结果读写显存的次数
- 典型场景:RMSNorm/LayerNorm、Softmax、激活加残差融合、反量化加矩阵乘、自定义注意力
- 用 autotune 自动搜索 BLOCK_SIZE、num_warps 等配置,开发周期通常短于手写 CUDA
- 局限:底层细节控制较弱,极致性能场景仍会用 CUDA 或 CUTLASS
易错点
- 认为 Triton 一定比 cuBLAS 快,计算密集的大矩阵乘通常很难超过厂商库
- 忘记用 mask 处理尾部越界,导致结果错误或非法访存
- 只在一种形状上 autotune,换形状后性能退化
- 只说 Triton 写起来简单,说不出访存瓶颈和算子融合这个核心
面试官常见追问
- 怎么判断一个算子值得用 Triton 重写?
- Triton 和 torch.compile 是什么关系?
- 写 Triton kernel 怎么保证正确性?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。