面试题库 › 算法 / 大模型 › DeepSpeed ZeRO 三个阶段分别优化什么

DeepSpeed ZeRO 三个阶段分别优化什么

难度 ★★★在 12 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

美团2携程2腾讯1快手1阿里巴巴1百度1商汤1度小满1阶跃星辰1

常见岗位:大模型算法、NLP / 语音

答案要点

  1. ZeRO-1:切分优化器状态
  2. ZeRO-2:切分优化器状态和梯度
  3. ZeRO-3:切分优化器状态、梯度和模型参数
  4. 阶段越高显存越省,通信开销越大
  5. ZeRO-3 计算时按层 all-gather 参数,用完释放;可配合 CPU 或 NVMe 卸载

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题