大模型 API 不稳定(过载)时如何保障可用性
答案要点
- 区分可重试错误(超时、429、5xx、过载)与不可重试错误(参数错误、鉴权失败)
- 指数退避加随机抖动,优先遵守 Retry-After,限制重试次数与总截止时间
- 熔断加多模型、多服务商备用路由,错误率超阈值时自动切换
- 客户端限流排队、非实时任务异步化,配合缓存减少重复调用
- 流式输出并设首 token 超时,监控延迟、错误率、降级次数
易错点
- 对所有错误都重试,参数错误也反复调用,白白浪费额度
- 固定间隔、无上限重试,服务端过载时形成重试风暴
- 只设单次超时不设总截止时间,用户等待时间被重试叠加放大
面试官常见追问
- 超时退避重试具体是怎么设置的?
- 为什么退避要加随机抖动?
- 切到备用模型时要注意什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。