面试题库 › 算法 / 大模型 › 大模型 API 限流中的 TPM 与 RPM

大模型 API 限流中的 TPM 与 RPM

难度 ★☆☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

深信服1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. TPM(Tokens Per Minute):每分钟 token 配额,通常同时计入输入和输出 token
  2. RPM(Requests Per Minute):每分钟请求次数配额,与单个请求大小无关
  3. 两者同时生效,先触达哪个就被限流,常返回 HTTP 429;额度与账号等级、模型相关
  4. 应对:令牌桶本地限速、指数退避加抖动重试、合理设置 max_tokens、批处理与多部署负载均衡

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题