面试题库 › 算法 / 大模型 › 模型推理优化:量化、剪枝与蒸馏

模型推理优化:量化、剪枝与蒸馏

难度 ★★★在 36 场真实面经中被问到 方向:算法 / 大模型考点:模型量化

哪些公司问过

卓驭4蔚来3英伟达3寒武纪3小鹏2美团2华为2科大讯飞2元戎启行2腾讯1

常见岗位:推理部署与加速、大模型算法、计算机视觉、AI 应用 / Agent 开发、嵌入式软件

答案要点

  1. 量化:FP32 → INT8 等低精度,减少内存和计算,通常加速 2~4 倍,精度损失小
  2. 量化分训练后量化 PTQ 与量化感知训练 QAT,QAT 精度更高
  3. 剪枝:去掉冗余权重或通道,结构化剪枝更容易获得实际加速
  4. 蒸馏:大模型教师指导小模型学生,在保持效果的同时缩小模型
  5. 部署:TensorRT 等推理引擎做算子融合、选择 kernel;批处理、KV Cache;导出 ONNX、验证精度、压测

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题