面试题库 › 算法 / 大模型 › 大模型训练加速与显存优化:梯度检查点等

大模型训练加速与显存优化:梯度检查点等

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

腾讯1字节跳动1小红书1

常见岗位:大模型算法

答案要点

  1. 训练显存由参数、梯度、优化器状态、激活组成,Adam 状态占比很大
  2. 梯度检查点只存部分激活、反向时重算,以约一次额外前向换显存
  3. 混合精度、ZeRO/FSDP 切分、梯度累积、FlashAttention 是常用组合
  4. 加速训练还可用算子融合、数据/张量/流水线并行和通信计算重叠
  5. 推理只做前向,关注 KV Cache、批处理和解码速度,与训练瓶颈不同

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题