面试题库 › 算法 / 大模型 › 学习率调度策略与 warmup + cosine 的原因

学习率调度策略与 warmup + cosine 的原因

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:训练优化与正则化

哪些公司问过

媒智科技1

常见岗位:计算机视觉、大模型算法

答案要点

  1. 指数衰减:lr = lr0·γ^t;分段衰减:StepLR、MultiStepLR 按轮数乘衰减因子
  2. 余弦退火 CosineAnnealingLR,可配合热重启(SGDR)
  3. 总体原则先大后小:前期快速下降,后期精细收敛
  4. warmup:初期参数随机、梯度大、Adam 二阶矩估计不准,大学习率易发散
  5. cosine:平滑、超参少、末期学习率低利于收敛,鲁棒性好

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题