面试题库 › C++ / 后端 › CPU 上的计算与模型推理加速

CPU 上的计算与模型推理加速

难度 ★★☆在 1 场真实面经中被问到 方向:C++ / 后端考点:大模型推理服务

哪些公司问过

影石3601

常见岗位:推理部署与加速

答案要点

  1. SIMD 向量化:SSE、AVX2、AVX-512、NEON;编译器自动向量化或 intrinsics
  2. 多线程:OpenMP、线程池,注意负载均衡与 NUMA 亲和
  3. 缓存友好:循环分块、连续内存布局,减少缓存未命中和伪共享
  4. 减少分支预测失败、开启 -O2/-O3 等编译优化
  5. 模型推理:INT8 量化、VNNI/AMX 指令、oneDNN、OpenVINO、ONNX Runtime、llama.cpp

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题