大模型文本流式返回需要考虑哪些问题
答案要点
- 协议选型:SSE 简单单向,WebSocket 适合双向交互
- 关闭代理缓冲,收到 chunk 立即转发
- 客户端按事件边界解析,处理字符与 JSON 截断
- 连接断开时取消上游模型请求,节省 token
- 关注首 token 延迟、增量渲染和流式内容审核
易错点
- Nginx 开着缓冲,前端看不到流式效果
- 用户关闭页面后服务端仍在生成,浪费 token
- 按网络包直接解析,遇到截断就报错
面试官常见追问
- 为什么大模型流式多用 SSE?
- 流式输出时怎么统计 token 用量?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。