端侧 AI 推理中算子优化的常见手段
哪些公司问过
答案要点
- 算子融合:Conv+BN+ReLU 合并,BN 折叠进卷积权重
- 算法优化:im2col+GEMM、Winograd、FFT
- RK3588 用 RKNN 跑 NPU,Jetson 用 TensorRT,开启低精度
- MCU 用 CMSIS-NN 做定点化和 SIMD 优化
- 内存复用、分块和合适的数据布局,用 profiler 定位热点
易错点
- 只说用 TensorRT,讲不出具体优化原理
- 量化后不验证精度
- 只优化计算量,忽略访存瓶颈
面试官常见追问
- BN 怎么折叠进卷积?
- Winograd 有什么局限?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。