INT8 量化为何有时掉点严重、有时几乎无损
哪些公司问过
答案要点
- 校准集分布与真实数据不匹配,激活范围估错
- 首层、检测头、离群值大的层敏感,可保留高精度
- 权重逐通道量化通常优于逐层量化
- 校准算法:min-max 易受离群值影响,KL 或百分位更稳
- 算子实现的舍入、饱和和反复量化会累积误差
易错点
- 校准集随便取几张图,与部署场景不符
- 所有层一律量化,不保护敏感层
- 只看整体精度,不做逐层分析
面试官常见追问
- PTQ 不够时怎么办?
- 怎么定位敏感层?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。