面试题库 › 算法 / 大模型 › 训练 Loss 震荡的原因分析与排查

训练 Loss 震荡的原因分析与排查

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:训练优化与正则化

哪些公司问过

OPPO1蚂蚁集团1

常见岗位:机器学习算法(泛)、推荐搜索广告

答案要点

  1. 优化:学习率过大、batch 过小、未做梯度裁剪、优化器配置不当
  2. 数据:脏数据与标签噪声、未打乱导致周期性波动、输入未归一化
  3. 模型:初始化不当、小 batch 下 BN 不稳、混合精度溢出
  4. 监控:每步 loss、学习率、全局及分层梯度范数、权重范数
  5. 定位:记录高 loss 样本,用小子集验证能否过拟合,排除代码 bug

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题