面试题库 › 嵌入式 › 为什么要做算子融合

为什么要做算子融合

难度 ★★★在 2 场真实面经中被问到 方向:嵌入式考点:CUDA性能优化

哪些公司问过

寒武纪1宇树科技1

常见岗位:推理部署与加速、大模型算法

答案要点

  1. 把多个相邻算子合并成一个核函数执行
  2. 减少核函数的启动开销,多个小算子只启动一次
  3. 减少中间结果的显存读写,这是主要收益,逐元素、归一化、softmax 等是访存受限算子
  4. 提高计算密度,并为图优化创造空间
  5. 典型:卷积加批归一化加激活、偏置加激活、残差加层归一化、FlashAttention;工具有 TensorRT、torch.compile、TVM

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题