面试题库 › 算法 / 大模型 › 什么是吞吐量?大模型推理的 token 吞吐量受哪些因素影响?

什么是吞吐量?大模型推理的 token 吞吐量受哪些因素影响?

难度 ★★☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

阿里巴巴2cvte1卓驭1

常见岗位:AI 应用 / Agent 开发、推理部署与加速、产品经理、软件开发

答案要点

  1. 吞吐量:单位时间处理的请求或任务数,常用 QPS、TPS,与延迟、并发共同衡量系统能力
  2. LLM 场景用 tokens/s,区分预填充与生成吞吐、单路速度与整机总吞吐
  3. 解码阶段主要受显存带宽限制,预填充阶段更依赖算力
  4. 影响因素:模型规模、硬件、量化、批大小与并发、推理框架
  5. 连续批处理提升总吞吐但会增加单请求延迟,需结合首 token 延迟评估

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题