卷积算子优化:im2col、Winograd 与位运算 GEMM
哪些公司问过
答案要点
- im2col/im2row:展开为矩阵转 GEMM,复用高性能矩阵乘,代价是约 K² 倍内存
- 隐式 GEMM:kernel 内按需计算地址,不实际展开,节省内存
- Winograd:变换减少乘法,F(2×2,3×3) 乘法从 36 降到 16,适合 3×3 步长 1,大 tile 数值误差增大
- FFT:频域逐点乘,适合大卷积核
- 二值网络 GEMM:±1 位打包,点积 = N − 2·popcount(a XOR b)
易错点
- 只讲 im2col 不提内存膨胀:展开矩阵大小约为输入的 K² 倍
- 说 Winograd 适合所有卷积:主要针对小卷积核、步长 1
- 二值 GEMM 忘记把位编码换算回 ±1 的点积公式
面试官常见追问
- 为什么要把卷积转成 GEMM 来做?
- 位运算 GEMM 怎么算点积?
- 什么时候 Winograd 不划算?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。