batch size 对收敛速度和泛化的影响
哪些公司问过
阿里巴巴、腾讯、滴滴、字节跳动1
答案要点
- 大batch梯度估计方差小、每epoch步数少、并行效率高,墙钟时间上通常收敛更快
- 存在临界batch size,超过后再增大batch,所需步数下降有限,样本效率变差
- 小batch梯度噪声大,有正则效果,可能帮助逃离尖锐极小值,但单步不稳定
- 大batch常伴随泛化下降,常见解释是更易收敛到尖锐极小值
- 调batch要同步调学习率:SGD常用线性缩放加warmup,Adam类常用更保守的缩放
易错点
- 笼统说batch越大收敛越快,不区分迭代步数、墙钟时间和样本效率
- 只改batch不调学习率,导致大batch训练变慢或发散
- 把梯度累积当成与真大batch完全等价,忽略BatchNorm统计量差异
面试官常见追问
- 什么是线性缩放规则?为什么要warmup?
- 显存不够又想用大batch怎么办?
- batch size太小有什么问题?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。