训练后量化 PTQ 与量化感知训练 QAT
哪些公司问过
答案要点
- PTQ:训练后用校准数据统计范围、计算 scale 和零点,无需重训
- PTQ 快速低成本,但低比特下精度损失可能较大;GPTQ、AWQ、SmoothQuant 属于 PTQ
- QAT:训练中插入伪量化节点,前向模拟量化误差
- QAT 反向用 STE 近似取整梯度,精度通常更高但需要数据和训练资源
- 实践先试 PTQ,精度不达标或极低比特时再用 QAT
易错点
- 以为 PTQ 完全不需要数据,实际静态量化需要校准数据
- 说 QAT 前向就用整数计算,实际训练时是浮点模拟量化
- 对 LayerNorm、softmax 等敏感算子也做低比特量化导致精度明显下降
面试官常见追问
- 如果对 embedding 也做量化,会有什么问题?
- 对 Transformer 量化,需要量化哪些算子?
- 矩阵乘法的量化过程是怎样的?
- 基于 XNOR 的二值化卷积怎么实现?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。