在大模型应用中输入一句话到返回结果经历了什么
哪些公司问过
答案要点
- 网关鉴权限流,输入安全审核
- 组装系统提示、历史对话,必要时检索或调用工具
- 分词成 token,调度器做连续批处理
- prefill 计算 KV Cache,decode 逐 token 采样生成
- 解码为文本、输出审核,SSE 流式返回并保存记录
易错点
- 只讲模型推理,忽略审核、上下文组装等工程环节
- 把分词说成按字切分
- 不了解 prefill 和 decode 两阶段
面试官常见追问
- prefill 和 decode 有什么区别?
- 为什么需要 KV Cache?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。