面试题库 › 嵌入式 › 模型量化如何实现?GPTQ、QAT 有何区别,为何选 W8A16?

模型量化如何实现?GPTQ、QAT 有何区别,为何选 W8A16?

难度 ★★★在 4 场真实面经中被问到 方向:嵌入式考点:模型量化

哪些公司问过

蚂蚁集团1蚂蚁金服1宇树科技1宇树机器人1

常见岗位:大模型算法、推理部署与加速、嵌入式软件

答案要点

  1. 原理:用低比特整数近似浮点数,q=round(x/scale)+zero_point,减少显存与带宽
  2. 对称量化零点为 0,适合权重;非对称量化带零点,适合分布有偏移的激活
  3. PTQ 用校准数据直接量化;GPTQ 逐层利用二阶信息补偿误差,最小化输出重构误差
  4. QAT 训练中插入伪量化节点,用直通估计传梯度,精度更好但成本更高
  5. W8A16:解码受权重读取带宽限制,权重 8bit 省显存;激活有离群值,保留 16bit 保精度

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题