面试题库 › 算法 / 大模型 › 部分 INT8 量化与混合精度部署

部分 INT8 量化与混合精度部署

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:模型量化

常见岗位:嵌入式软件

答案要点

  1. INT8 量化用缩放因子和零点把浮点映射为 8 位整数
  2. 部分量化:只量化部分层或算子,其余保持浮点
  3. 混合精度:不同层用 INT8、FP16 等不同精度
  4. 目的:平衡精度损失与推理加速
  5. 敏感层回退高精度,但精度切换有额外开销

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题