面试题库 › 算法 / 大模型 › DeepSpeed 缓解训练显存瓶颈的方案

DeepSpeed 缓解训练显存瓶颈的方案

难度 ★★☆在 6 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

高德4cvte1

常见岗位:大模型算法、AI 应用 / Agent 开发、NLP / 语音

答案要点

  1. ZeRO 分阶段切分优化器状态、梯度、参数,降低单卡显存
  2. 混合精度 FP16 或 BF16 计算,主要减少激活占用,仍保留 FP32 主权重;FP16 需 loss scaling
  3. 激活检查点:保存部分激活,反向重算,用计算换显存
  4. Offload:把优化器状态或参数卸载到 CPU 内存或 NVMe
  5. 配合张量、流水线、序列并行,按瓶颈组合使用

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题