面试题库 › 算法 / 大模型 › 低比特量化推理部署

低比特量化推理部署

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:模型量化

哪些公司问过

科大讯飞1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 低比特把权重或激活从 FP16 降到 INT8、FP8、INT4,减少显存和带宽,提高吞吐
  2. PTQ 用校准数据确定 scale,成本低;QAT 训练中模拟量化误差,精度更好
  3. 大模型激活有离群值,W8A8 常用 SmoothQuant;仅权重量化常用 GPTQ、AWQ
  4. 部署依赖硬件和推理引擎支持对应低比特计算核,如 TensorRT-LLM、vLLM
  5. 量化后用困惑度和任务指标评估,敏感层保留高精度做混合精度

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题