面试题库 › 算法 / 大模型 › batch size 对收敛速度和泛化的影响

batch size 对收敛速度和泛化的影响

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:训练优化与正则化

哪些公司问过

阿里巴巴、腾讯、滴滴、字节跳动1

常见岗位:计算机视觉

答案要点

  1. 大batch梯度估计方差小、每epoch步数少、并行效率高,墙钟时间上通常收敛更快
  2. 存在临界batch size,超过后再增大batch,所需步数下降有限,样本效率变差
  3. 小batch梯度噪声大,有正则效果,可能帮助逃离尖锐极小值,但单步不稳定
  4. 大batch常伴随泛化下降,常见解释是更易收敛到尖锐极小值
  5. 调batch要同步调学习率:SGD常用线性缩放加warmup,Adam类常用更保守的缩放

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题