面试题库 › Java 后端 › 大模型底层推理的完整工作流程

大模型底层推理的完整工作流程

难度 ★★☆在 1 场真实面经中被问到 方向:Java 后端考点:大模型基础

哪些公司问过

腾讯1

答案要点

  1. 主链路完整:分词、嵌入与位置编码、多层解码器、LM Head 输出 logits、采样、自回归循环到结束符
  2. 核心组件:带因果掩码的自注意力、前馈网络、残差与归一化、分词器、采样策略
  3. 区分预填充与解码两个阶段,前者偏计算密集,后者偏访存密集
  4. 说清 KV Cache 的作用是避免重复计算历史 token 的 K、V,代价是显存随序列长度和并发增长
  5. 训练与推理区别:训练并行算全部位置的损失并反向传播,推理只前向但逐 token 串行生成

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题