多家大模型 API 的统一网关设计
哪些公司问过
答案要点
- 统一请求/响应模型(常参考 OpenAI 格式),流式统一为 SSE
- 每家厂商一个适配器:参数映射、鉴权签名、响应与错误码归一化
- 配置化路由:厂商、模型、权重、灰度,故障时切换备用模型
- 请求前:鉴权、多维度限流(用户、Key、租户、模型)、按预估 token 预扣额度
- 请求后:按实际 token 用量结算、记录日志耗时成本、监控告警
易错点
- 把各厂商差异散落在业务代码里,没有统一抽象
- 只做请求前限流,不按实际 token 用量结算,导致额度失真
- 各厂商错误码不归一,重试和降级策略无法统一
面试官常见追问
- 为什么要按 token 而不只按 QPS 限流?
- 流式响应时请求后的结算怎么做?
- 多厂商之间如何做容灾?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。