面试题库 › 算法 / 大模型 › 梯度累积的原理与使用要点

梯度累积的原理与使用要点

难度 ★★☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:分布式训练与并行

哪些公司问过

高德4

常见岗位:大模型算法

答案要点

  1. 原理:多个小 batch 的梯度累加后再更新,等效于增大 batch size
  2. loss 要除以累积步数,保证梯度尺度正确
  3. 累积期间不清零梯度,更新参数后再 zero_grad
  4. BatchNorm 等依赖批统计的层与真正大 batch 有差异
  5. 分布式训练中间步可关闭梯度同步,只在最后一步 all-reduce

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题