面试题库 › 算法 / 大模型 › SFT 学习率量级与 Warmup 的作用

SFT 学习率量级与 Warmup 的作用

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:监督微调

哪些公司问过

阿里巴巴1

常见岗位:AI 应用 / Agent 开发、大模型算法

答案要点

  1. Warmup 在训练初期把学习率从很小逐步升到目标值,避免早期更新过大
  2. 原因:Adam 二阶矩估计初期不准,梯度大且方向不稳,大学习率易震荡或发散
  3. 前期 loss 下降快源于快速适应数据格式,同时梯度范数、参数更新量、激活分布也剧烈变化
  4. 全参数 SFT 学习率常在 1e-6 到 1e-5 量级、模型越大越小;LoRA 常用 1e-4 左右
  5. 学习率过大易遗忘,过小收敛慢,需小规模实验扫参

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题