面试题库 › Java 后端 › 大模型文本流式返回需要考虑哪些问题

大模型文本流式返回需要考虑哪些问题

难度 ★★☆在 1 场真实面经中被问到 方向:Java 后端考点:工程化与部署

常见岗位:Java 后端

答案要点

  1. 协议选型:SSE 简单单向,WebSocket 适合双向交互
  2. 关闭代理缓冲,收到 chunk 立即转发
  3. 客户端按事件边界解析,处理字符与 JSON 截断
  4. 连接断开时取消上游模型请求,节省 token
  5. 关注首 token 延迟、增量渲染和流式内容审核

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题