DeepSpeed 缓解训练显存瓶颈的方案
哪些公司问过
答案要点
- ZeRO 分阶段切分优化器状态、梯度、参数,降低单卡显存
- 混合精度 FP16 或 BF16 计算,主要减少激活占用,仍保留 FP32 主权重;FP16 需 loss scaling
- 激活检查点:保存部分激活,反向重算,用计算换显存
- Offload:把优化器状态或参数卸载到 CPU 内存或 NVMe
- 配合张量、流水线、序列并行,按瓶颈组合使用
易错点
- 只说 ZeRO,忽略激活占用
- 不知道 Offload 带来的速度代价
- 没有说明按瓶颈组合使用
面试官常见追问
- BF16 和 FP16 有什么区别?
- Offload 的代价是什么?
- 遇到显存不足,你会按什么顺序排查?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。