模型推理优化:量化、剪枝与蒸馏
哪些公司问过
答案要点
- 量化:FP32 → INT8 等低精度,减少内存和计算,通常加速 2~4 倍,精度损失小
- 量化分训练后量化 PTQ 与量化感知训练 QAT,QAT 精度更高
- 剪枝:去掉冗余权重或通道,结构化剪枝更容易获得实际加速
- 蒸馏:大模型教师指导小模型学生,在保持效果的同时缩小模型
- 部署:TensorRT 等推理引擎做算子融合、选择 kernel;批处理、KV Cache;导出 ONNX、验证精度、压测
易错点
- 只说量化,不提精度损失与验证
- 把非结构化剪枝直接等同于加速
- 蒸馏时学生模型和教师差距过大
- 部署后不压测,不关注延迟与吞吐
面试官常见追问
- PTQ 和 QAT 有什么区别?
- 结构化剪枝和非结构化剪枝有什么区别?
- 低秩分解是什么?
- 大模型量化有哪些常见方案?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。