部分 INT8 量化与混合精度部署
答案要点
- INT8 量化用缩放因子和零点把浮点映射为 8 位整数
- 部分量化:只量化部分层或算子,其余保持浮点
- 混合精度:不同层用 INT8、FP16 等不同精度
- 目的:平衡精度损失与推理加速
- 敏感层回退高精度,但精度切换有额外开销
易错点
- 回退层过多,频繁精度切换抵消加速
- 以为混合精度只指 FP16 和 FP32
- 不验证硬件是否真正支持对应精度
面试官常见追问
- 怎么选哪些层回退高精度?
- 训练里的混合精度和部署的混合精度一样吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。