INT8/INT4/FP8 量化原理与精度权衡
哪些公司问过
答案要点
- 原理:用scale(和零点)把浮点映射到低比特,粒度有per-tensor/channel/group
- 区分PTQ与QAT;大模型多用PTQ,如GPTQ、AWQ、SmoothQuant
- 权重量化省显存、利好解码;W8A8需处理激活离群值,可提升计算吞吐
- FP8有指数位,动态范围优于INT8,依赖硬件支持
- 效果验证:困惑度、通用基准、业务评测集对比,加人工抽检
易错点
- 以为只量化权重就一定能加速计算,它主要缓解显存和访存瓶颈
- 只看困惑度不看下游任务,量化后可能在推理、长文本等场景掉点明显
- 忽略硬件是否支持对应低精度算子,量化后反而不快
面试官常见追问
- FP8的两种常见格式是什么?训练和推理怎么用?
- 为什么量化最后总要在速度和精度间折中?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。