大模型训练与推理的区别
哪些公司问过
答案要点
- 计算:训练是前向 + 反向 + 参数更新,推理只做前向
- 显存:训练需存权重、梯度、优化器状态和激活,混合精度 Adam 约 16 字节/参数;推理主要是权重加 KV Cache
- 训练手段:数据并行、张量并行、流水线并行、ZeRO、激活重计算、混合精度
- 推理特点:预填充计算密集、解码受显存带宽限制;常用量化、PagedAttention、连续批处理、投机解码
- 目标:训练追求收敛与吞吐,推理追求低延迟、高吞吐与低成本
易错点
- 认为推理显存只和参数量有关,忽略 KV Cache
- 估算训练显存只算权重,忽略梯度、优化器状态和激活
- 把训练和推理的优化目标混为一谈
面试官常见追问
- 16 字节每参数是怎么算的?
- 为什么解码阶段是访存受限?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。