学习率调度策略与 warmup + cosine 的原因
哪些公司问过
媒智科技1
答案要点
- 指数衰减:lr = lr0·γ^t;分段衰减:StepLR、MultiStepLR 按轮数乘衰减因子
- 余弦退火 CosineAnnealingLR,可配合热重启(SGDR)
- 总体原则先大后小:前期快速下降,后期精细收敛
- warmup:初期参数随机、梯度大、Adam 二阶矩估计不准,大学习率易发散
- cosine:平滑、超参少、末期学习率低利于收敛,鲁棒性好
易错点
- 说 warmup 只是为了加速:主要目的是稳定初期训练
- cosine 的总步数设置与实际训练步数不一致,导致学习率提前降到最低或末期仍很高
- 忽略恢复训练时调度器状态,学习率被重置
面试官常见追问
- warmup 一般设多长?
- cosine 的缺点是什么?
- ReduceLROnPlateau 适合什么场景?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。