为什么要做算子融合
哪些公司问过
答案要点
- 把多个相邻算子合并成一个核函数执行
- 减少核函数的启动开销,多个小算子只启动一次
- 减少中间结果的显存读写,这是主要收益,逐元素、归一化、softmax 等是访存受限算子
- 提高计算密度,并为图优化创造空间
- 典型:卷积加批归一化加激活、偏置加激活、残差加层归一化、FlashAttention;工具有 TensorRT、torch.compile、TVM
易错点
- 只说减少启动开销,不提访存
- 认为所有算子都能随意融合
- 不知道 FlashAttention 属于融合算子
面试官常见追问
- 为什么算子融合能提速?
- 一般融合哪些层?
- 算子融合有什么限制?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。