CPU 上的计算与模型推理加速
哪些公司问过
影石3601
答案要点
- SIMD 向量化:SSE、AVX2、AVX-512、NEON;编译器自动向量化或 intrinsics
- 多线程:OpenMP、线程池,注意负载均衡与 NUMA 亲和
- 缓存友好:循环分块、连续内存布局,减少缓存未命中和伪共享
- 减少分支预测失败、开启 -O2/-O3 等编译优化
- 模型推理:INT8 量化、VNNI/AMX 指令、oneDNN、OpenVINO、ONNX Runtime、llama.cpp
易错点
- 只说多线程,忽略 SIMD 和缓存优化
- 线程数开得越多越好,忽略同步开销和超线程争用
- 只看理论算力,不考虑内存带宽瓶颈
面试官常见追问
- 为什么大模型在 CPU 上解码通常是内存带宽瓶颈?
- 什么是伪共享?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。