面试题库 › 算法 / 大模型 › INT8/INT4/FP8 量化原理与精度权衡

INT8/INT4/FP8 量化原理与精度权衡

难度 ★★★在 7 场真实面经中被问到 方向:算法 / 大模型考点:模型量化

哪些公司问过

蚂蚁集团2TCL1华测导航1未明确提及具体公司1软通动力1

常见岗位:推理部署与加速、嵌入式软件、AI 应用 / Agent 开发、大模型算法、自动驾驶

答案要点

  1. 原理:用scale(和零点)把浮点映射到低比特,粒度有per-tensor/channel/group
  2. 区分PTQ与QAT;大模型多用PTQ,如GPTQ、AWQ、SmoothQuant
  3. 权重量化省显存、利好解码;W8A8需处理激活离群值,可提升计算吞吐
  4. FP8有指数位,动态范围优于INT8,依赖硬件支持
  5. 效果验证:困惑度、通用基准、业务评测集对比,加人工抽检

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题