大模型 API 限流中的 TPM 与 RPM
哪些公司问过
答案要点
- TPM(Tokens Per Minute):每分钟 token 配额,通常同时计入输入和输出 token
- RPM(Requests Per Minute):每分钟请求次数配额,与单个请求大小无关
- 两者同时生效,先触达哪个就被限流,常返回 HTTP 429;额度与账号等级、模型相关
- 应对:令牌桶本地限速、指数退避加抖动重试、合理设置 max_tokens、批处理与多部署负载均衡
易错点
- 只控制请求频率,忽略长上下文请求会很快耗尽 TPM
- 收到 429 后立即无间隔重试,加剧限流
- 和安全领域的可信平台模块(TPM)混淆,答非所问
面试官常见追问
- 收到 429 后应该怎么重试?
- 自建推理服务怎么做限流?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。