面试题库 › 算法 / 大模型 › 大模型训练与推理的区别

大模型训练与推理的区别

难度 ★☆☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型基础

哪些公司问过

字节跳动1

常见岗位:大模型算法

答案要点

  1. 计算:训练是前向 + 反向 + 参数更新,推理只做前向
  2. 显存:训练需存权重、梯度、优化器状态和激活,混合精度 Adam 约 16 字节/参数;推理主要是权重加 KV Cache
  3. 训练手段:数据并行、张量并行、流水线并行、ZeRO、激活重计算、混合精度
  4. 推理特点:预填充计算密集、解码受显存带宽限制;常用量化、PagedAttention、连续批处理、投机解码
  5. 目标:训练追求收敛与吞吐,推理追求低延迟、高吞吐与低成本

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题