亿级用户 AI 对话系统的服务拆分与架构
哪些公司问过
拼多多1多家AI公司1
答案要点
- 拆分:接入层、会话服务、编排服务、模型网关、推理集群、存储
- 接入层做鉴权、限流和长连接管理,流式用 SSE 或 WebSocket 并处理背压
- 会话服务无状态,历史消息分库分表存储,热数据缓存
- 模型网关统一路由、配额、熔断与降级;推理集群弹性扩缩容并利用前缀缓存
- 异步任务走消息队列削峰;输入输出内容审核;多机房与分级降级保障可用
易错点
- 会话服务有状态绑定某台机器,扩容和故障转移困难
- 同步链路里塞进审核日志、记忆抽取等非关键步骤,拉长首 token 延迟
- 没有降级预案,模型服务故障直接导致全站不可用
面试官常见追问
- 高峰期 GPU 不够怎么办?
- 多轮对话上下文越来越长怎么处理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。