大模型训练加速与显存优化:梯度检查点等
哪些公司问过
答案要点
- 训练显存由参数、梯度、优化器状态、激活组成,Adam 状态占比很大
- 梯度检查点只存部分激活、反向时重算,以约一次额外前向换显存
- 混合精度、ZeRO/FSDP 切分、梯度累积、FlashAttention 是常用组合
- 加速训练还可用算子融合、数据/张量/流水线并行和通信计算重叠
- 推理只做前向,关注 KV Cache、批处理和解码速度,与训练瓶颈不同
易错点
- 说梯度检查点能减少参数或优化器显存,它只省激活
- 忽略重计算带来的额外耗时
- 把推理优化手段(如 KV Cache)当作训练显存优化
面试官常见追问
- 多模态训练 OOM 先查什么?
- 梯度累积和增大 batch 等价吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。