大模型底层推理的完整工作流程
哪些公司问过
答案要点
- 主链路完整:分词、嵌入与位置编码、多层解码器、LM Head 输出 logits、采样、自回归循环到结束符
- 核心组件:带因果掩码的自注意力、前馈网络、残差与归一化、分词器、采样策略
- 区分预填充与解码两个阶段,前者偏计算密集,后者偏访存密集
- 说清 KV Cache 的作用是避免重复计算历史 token 的 K、V,代价是显存随序列长度和并发增长
- 训练与推理区别:训练并行算全部位置的损失并反向传播,推理只前向但逐 token 串行生成
易错点
- 把推理说成一次前向就输出整段回答,实际上是逐 token 循环生成
- 混淆训练和推理:推理时不做反向传播,也没有教师强制
- 只讲模型结构,漏掉分词器和采样策略这两个直接影响输出的环节
面试官常见追问
- 为什么需要 KV Cache?它带来什么问题?
- 温度、top-k、top-p 分别起什么作用?
- 模型为什么会输出看似合理但错误的内容?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。