为什么大模型回答是一个字一个字输出的
哪些公司问过
答案要点
- 自回归生成:每次前向只预测下一个 token,再拼回输入继续生成
- 后续 token 依赖已生成内容,无法一次输出整段
- 服务端用 SSE 等流式推送,降低首字等待、可中途停止
- 输出单位是 token,不严格等于一个汉字
- KV Cache、投机解码等技术加速逐 token 生成
易错点
- 以为逐字显示只是前端动画效果
- 把 token 等同于单个汉字
- 认为 KV Cache 能让模型一次输出全部内容
面试官常见追问
- 首 token 延迟和后续生成速度分别由什么决定?
- 有没有能并行生成的方法?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。