面试题库 › 算法 / 大模型 › 多模型网关的统一抽象、路由、降级与隔离

多模型网关的统一抽象、路由、降级与隔离

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:工程化与部署

哪些公司问过

百度1去哪儿1

常见岗位:AI 应用 / Agent 开发、大模型算法

答案要点

  1. 统一内部协议:消息、工具调用、流式事件、用量统一,各厂商写适配器做映射
  2. 路由依据:能力需求、成本、延迟、负载、租户等级,简单请求走低成本模型
  3. 故障隔离:按模型和租户隔离连接池、并发配额与限流
  4. 熔断与降级链:备用同能力模型、小模型、缓存、兜底回复,重试带上限和退避
  5. 可观测:记录路由决策、降级原因、延迟、token 与错误率

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题