大量并发请求打满大模型API限速怎么办
哪些公司问过
答案要点
- 请求先入队,用令牌桶按配额匀速发送,同时控制请求数和token数
- 多实例时使用基于Redis等共享存储的分布式限流
- 429错误按指数退避加抖动重试,遵循Retry-After
- 扩容手段:提升配额、合规的多账号或多区域、备用模型降级
- 减量手段:结果缓存、压缩提示词、批处理接口、小模型路由
易错点
- 只限请求数不限token数,长文本请求仍然触发限速
- 失败后立即无间隔重试,加剧拥塞
- 多实例各自限流,总量仍然超过配额
面试官常见追问
- 令牌桶和漏桶有什么区别?
- 为什么重试要加随机抖动?
- 不同用户的请求优先级怎么处理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。