调用 LLM 接口失败的重试机制设计
哪些公司问过
嘉为1
答案要点
- 临时性错误(超时、429、5xx)重试,参数和鉴权错误不重试
- 指数退避加随机抖动,避免集中重试
- 设最大重试次数和整体超时上限
- 重试需幂等,有副作用的调用用请求 ID 去重
- 配合熔断、备用模型降级和失败率监控
易错点
- 对所有错误一律重试,浪费额度
- 退避不加抖动,造成同时重试
- 忽略超时请求可能已经计费
面试官常见追问
- 调用第三方接口没响应,会不会继续扣费?
- 流式请求中途断了怎么重试?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。