实现支持多轮对话与流式返回的接口
哪些公司问过
答案要点
- 接口设计:POST,携带会话 ID、本轮消息和 stream 参数,返回 SSE 或 WebSocket 流
- 上下文维护:客户端传完整 messages 或服务端按会话 ID 存储历史,后者更可控
- 上下文超长时保留最近若干轮并对早期内容做摘要,拼上系统提示词
- 流式实现:逐块转发模型增量为 SSE 事件,同时累积完整回复,结束后落库
- 异常处理:中途错误事件、客户端断开取消上游、超时控制、关闭代理缓冲
易错点
- 只在生成全部结束后才返回,失去流式意义
- 不做上下文截断,对话一长就超出模型窗口或成本暴涨
- 客户端断开后服务端仍在生成,浪费资源且可能写入不完整状态
面试官常见追问
- SSE 和 WebSocket 选哪个?
- 用户中途点停止怎么处理?
- 用 Python 怎么实现流式返回?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。