多模型网关的统一抽象、路由、降级与隔离
哪些公司问过
答案要点
- 统一内部协议:消息、工具调用、流式事件、用量统一,各厂商写适配器做映射
- 路由依据:能力需求、成本、延迟、负载、租户等级,简单请求走低成本模型
- 故障隔离:按模型和租户隔离连接池、并发配额与限流
- 熔断与降级链:备用同能力模型、小模型、缓存、兜底回复,重试带上限和退避
- 可观测:记录路由决策、降级原因、延迟、token 与错误率
易错点
- 上层业务直接依赖某家 SDK,换模型时大面积改代码
- 所有模型共用一个连接池,一家供应商故障导致全局阻塞
- 无限重试或同时重试多家,放大流量造成级联故障
面试官常见追问
- 不同厂商的工具调用格式差异怎么统一?
- 流式输出中途失败怎么降级?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。