大模型调用失败重试避免重复生成与计费
哪些公司问过
答案要点
- 为每个业务请求生成幂等键,先查已有结果,命中直接返回
- 区分错误语义:429 多为限流、请求未处理,重试或换模型相对安全
- 用状态机记录每次调用的进行中、成功、失败,幂等键加锁防并发重复
- 换模型重试沿用同一业务幂等键,结果归到同一条记录
- 计费以成功返回的那次为准,设最大重试次数和超时控制成本
易错点
- 把所有错误一视同仁地重试,忽略请求是否已被执行
- 重试换模型时不复用幂等键,结果各算一份、重复计费
- 只做重试不记状态,无法判断是否已经生成过结果
面试官常见追问
- 429 和 5xx 超时重试策略一样吗?
- 流式输出中途失败怎么续?
- 幂等键存哪里、怎么防并发?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。