什么是吞吐量?大模型推理的 token 吞吐量受哪些因素影响?
哪些公司问过
答案要点
- 吞吐量:单位时间处理的请求或任务数,常用 QPS、TPS,与延迟、并发共同衡量系统能力
- LLM 场景用 tokens/s,区分预填充与生成吞吐、单路速度与整机总吞吐
- 解码阶段主要受显存带宽限制,预填充阶段更依赖算力
- 影响因素:模型规模、硬件、量化、批大小与并发、推理框架
- 连续批处理提升总吞吐但会增加单请求延迟,需结合首 token 延迟评估
易错点
- 不区分单请求速度和整机总吞吐,数据无法比较
- 只报吞吐不报延迟,掩盖用户体验问题
- 脱离硬件、模型和量化条件给出具体吞吐数字
面试官常见追问
- 本地部署时单路生成速度大概怎么估算?
- 吞吐和延迟是什么关系?
- 有哪些提升推理吞吐的手段?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。