从 Prompt 到输出:LLM 推理全流程
哪些公司问过
答案要点
- 分词:BPE 等算法把文本转为 token id 序列
- embedding 查表得到向量,位置信息通过 RoPE 等方式注入
- 多层解码器:归一化、因果自注意力、前馈网络与残差,逐层计算
- LM head 输出词表大小的 logits,softmax 后按采样策略选出下一个 token
- prefill 并行处理 prompt 并建立 KV Cache,decode 逐 token 生成直到 EOS 或最大长度
易错点
- 说模型直接输出文字,忽略 logits、概率分布和采样这一步
- 漏掉 KV Cache,说每生成一个 token 都重新计算整个序列
- 把训练时的 teacher forcing 并行计算和推理时的逐 token 生成混为一谈
面试官常见追问
- Llama2 的推理流程有什么结构特点?
- prefill 和 decode 阶段有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。