面试题库 › 算法 / 大模型 › 大模型 API 不稳定(过载)时如何保障可用性

大模型 API 不稳定(过载)时如何保障可用性

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:工程化与部署

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 区分可重试错误(超时、429、5xx、过载)与不可重试错误(参数错误、鉴权失败)
  2. 指数退避加随机抖动,优先遵守 Retry-After,限制重试次数与总截止时间
  3. 熔断加多模型、多服务商备用路由,错误率超阈值时自动切换
  4. 客户端限流排队、非实时任务异步化,配合缓存减少重复调用
  5. 流式输出并设首 token 超时,监控延迟、错误率、降级次数

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题