DeepSpeed ZeRO 三个阶段分别优化什么
哪些公司问过
答案要点
- ZeRO-1:切分优化器状态
- ZeRO-2:切分优化器状态和梯度
- ZeRO-3:切分优化器状态、梯度和模型参数
- 阶段越高显存越省,通信开销越大
- ZeRO-3 计算时按层 all-gather 参数,用完释放;可配合 CPU 或 NVMe 卸载
易错点
- 说不清三个阶段分别切分了什么
- 不知道阶段越高通信开销越大
- 把 ZeRO-3 当成模型并行
- 忽略优化器状态才是显存大头
面试官常见追问
- 为什么优化器状态占显存最多?
- ZeRO-3 和模型并行有什么区别?
- ZeRO-Offload 是什么?
- ZeRO 和 FSDP 的关系?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。