低比特量化推理部署
哪些公司问过
答案要点
- 低比特把权重或激活从 FP16 降到 INT8、FP8、INT4,减少显存和带宽,提高吞吐
- PTQ 用校准数据确定 scale,成本低;QAT 训练中模拟量化误差,精度更好
- 大模型激活有离群值,W8A8 常用 SmoothQuant;仅权重量化常用 GPTQ、AWQ
- 部署依赖硬件和推理引擎支持对应低比特计算核,如 TensorRT-LLM、vLLM
- 量化后用困惑度和任务指标评估,敏感层保留高精度做混合精度
易错点
- 认为量化一定加速,硬件或引擎没有对应低比特核时可能更慢
- 校准数据和真实分布不一致,导致激活 scale 不准
- 只看压缩率不评估精度,忽略激活离群值的影响
面试官常见追问
- 只量化权重的 W4A16 为什么也能加速?
- per-tensor、per-channel 和分组量化有什么区别?
- 量化后精度掉得厉害怎么排查?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。