LLM 网关设计与模型降级、超时处理
哪些公司问过
答案要点
- 定义统一模型接口,主备模型可插拔,业务代码不感知具体厂商
- 分层超时:连接、读取、流式首 token,配合有限次指数退避重试
- 熔断器统计失败率,打开后降级到备用模型或兜底回复,并告警
- 按场景配置路由策略:质量、成本、延迟、配额综合考虑
- 网关统一负责鉴权、密钥、限流、负载均衡、计费、审计与内容安全
易错点
- 无限重试或不加退避,放大故障
- 只讲切换模型,不讲熔断、告警和兜底
- 把 API Key 硬编码在代码或前端
面试官常见追问
- 线上大模型调用一直超时怎么办?
- 主备模型输出风格不一致怎么处理?
- 重试有什么要注意的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。