面试题库 › 算法 / 大模型 › LLM 量化方法:LLM.int8()、SmoothQuant、AWQ、GPTQ

LLM 量化方法:LLM.int8()、SmoothQuant、AWQ、GPTQ

难度 ★★★在 3 场真实面经中被问到 方向:算法 / 大模型考点:模型量化

哪些公司问过

快手2

常见岗位:推理部署与加速

答案要点

  1. 基础:缩放因子与零点映射,对称/非对称,逐张量/逐通道/分组粒度
  2. 难点:激活中存在离群通道,直接量化误差大
  3. LLM.int8():离群维度用 FP16、其余 INT8 的混合精度分解
  4. SmoothQuant:平滑因子把激活量化难度迁移到权重,实现 W8A8
  5. AWQ:按激活找重要通道并缩放保护;GPTQ:基于二阶信息逐列量化并补偿误差,均为低比特权重量化

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题