面试题库 › 算法 / 大模型 › Agent 服务的并发处理、状态管理与线程池拆分

Agent 服务的并发处理、状态管理与线程池拆分

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:工程化与部署

哪些公司问过

阿里巴巴1网易1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 无状态服务加外部存储:会话状态按 session_id 存 Redis/DB,支持水平扩展与用户隔离
  2. 同一会话串行化:分布式锁或按 session 哈希分区,防止并发覆盖状态
  3. 入口限流排队、超时熔断,工具调用用请求 ID 实现幂等,会话设置 TTL
  4. 线程池按任务类型隔离(舱壁):模型调用、检索、审计落库、消息消费分开
  5. 模型调用和检索 IO 密集可用大池或异步;审计异步写或走消息队列,不阻塞主流程

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题