梯度累积的原理与使用要点
哪些公司问过
答案要点
- 原理:多个小 batch 的梯度累加后再更新,等效于增大 batch size
- loss 要除以累积步数,保证梯度尺度正确
- 累积期间不清零梯度,更新参数后再 zero_grad
- BatchNorm 等依赖批统计的层与真正大 batch 有差异
- 分布式训练中间步可关闭梯度同步,只在最后一步 all-reduce
易错点
- 忘记把 loss 除以累积步数
- 每个小 batch 都清零梯度,导致累积失效
- 分布式训练每个小 batch 都同步梯度,浪费通信
- 混淆梯度累积和梯度检查点
面试官常见追问
- 梯度检查点是什么,解决什么问题?
- 梯度累积和直接用大 batch 完全等价吗?
- 梯度累积会让训练变慢吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。