面试题库 › 算法 / 大模型 › 多家大模型 API 的统一网关设计

多家大模型 API 的统一网关设计

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:接口设计与鉴权

哪些公司问过

深信服1网易互娱1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 统一请求/响应模型(常参考 OpenAI 格式),流式统一为 SSE
  2. 每家厂商一个适配器:参数映射、鉴权签名、响应与错误码归一化
  3. 配置化路由:厂商、模型、权重、灰度,故障时切换备用模型
  4. 请求前:鉴权、多维度限流(用户、Key、租户、模型)、按预估 token 预扣额度
  5. 请求后:按实际 token 用量结算、记录日志耗时成本、监控告警

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题