面试题库 › Java 后端 › LLM 网关设计与模型降级、超时处理

LLM 网关设计与模型降级、超时处理

难度 ★★☆在 4 场真实面经中被问到 方向:Java 后端考点:大模型推理服务

哪些公司问过

科大讯飞2饿了么1成都某电商公司1

常见岗位:AI 应用 / Agent 开发、Java 后端

答案要点

  1. 定义统一模型接口,主备模型可插拔,业务代码不感知具体厂商
  2. 分层超时:连接、读取、流式首 token,配合有限次指数退避重试
  3. 熔断器统计失败率,打开后降级到备用模型或兜底回复,并告警
  4. 按场景配置路由策略:质量、成本、延迟、配额综合考虑
  5. 网关统一负责鉴权、密钥、限流、负载均衡、计费、审计与内容安全

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题