LLM 量化方法:LLM.int8()、SmoothQuant、AWQ、GPTQ
哪些公司问过
答案要点
- 基础:缩放因子与零点映射,对称/非对称,逐张量/逐通道/分组粒度
- 难点:激活中存在离群通道,直接量化误差大
- LLM.int8():离群维度用 FP16、其余 INT8 的混合精度分解
- SmoothQuant:平滑因子把激活量化难度迁移到权重,实现 W8A8
- AWQ:按激活找重要通道并缩放保护;GPTQ:基于二阶信息逐列量化并补偿误差,均为低比特权重量化
易错点
- 把 AWQ 说成保留重要权重为 FP16:AWQ 是通过缩放保护,权重仍全部量化
- 忽略校准数据:GPTQ、AWQ、SmoothQuant 都依赖校准集,分布不匹配会掉点
- 只看困惑度不看下游任务,低比特量化可能在推理、代码等任务上掉点更明显
面试官常见追问
- 数据怎样分布量化误差较小?
- INT8、FP8、INT4 对分布的要求一样吗?
- 权重量化和激活量化的收益有什么不同?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。