Agent 服务的并发处理、状态管理与线程池拆分
哪些公司问过
答案要点
- 无状态服务加外部存储:会话状态按 session_id 存 Redis/DB,支持水平扩展与用户隔离
- 同一会话串行化:分布式锁或按 session 哈希分区,防止并发覆盖状态
- 入口限流排队、超时熔断,工具调用用请求 ID 实现幂等,会话设置 TTL
- 线程池按任务类型隔离(舱壁):模型调用、检索、审计落库、消息消费分开
- 模型调用和检索 IO 密集可用大池或异步;审计异步写或走消息队列,不阻塞主流程
易错点
- 把会话状态存在单实例内存里,扩容或重启后状态丢失
- 同一会话并发处理多条消息,导致历史错乱
- 审计落库同步写在主链路上,数据库抖动直接拖慢用户请求
面试官常见追问
- 为什么不用一个大线程池统一处理?
- 流式输出时并发怎么处理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。