模型量化如何实现?GPTQ、QAT 有何区别,为何选 W8A16?
哪些公司问过
答案要点
- 原理:用低比特整数近似浮点数,q=round(x/scale)+zero_point,减少显存与带宽
- 对称量化零点为 0,适合权重;非对称量化带零点,适合分布有偏移的激活
- PTQ 用校准数据直接量化;GPTQ 逐层利用二阶信息补偿误差,最小化输出重构误差
- QAT 训练中插入伪量化节点,用直通估计传梯度,精度更好但成本更高
- W8A16:解码受权重读取带宽限制,权重 8bit 省显存;激活有离群值,保留 16bit 保精度
易错点
- 以为量化后一定更快:没有对应低精度算子时还要反量化,速度可能不升反降
- 混淆 W8A16 与 W8A8:前者只量化权重,计算时通常反量化回 16 位
- 校准数据与真实输入分布差异大,导致激活范围估计失真
面试官常见追问
- int8 量化具体是怎么把浮点数映射过去的?
- 量化之后精度下降,你会从哪几个方向找原因?
- 对称和非对称量化分别适用于什么场景?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。