面试题库 › 算法 / 大模型 › Dropout 的原理与训练时的权重更新

Dropout 的原理与训练时的权重更新

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:训练优化与正则化

哪些公司问过

美团1奥比中光科技集团股份有限公司1

常见岗位:机器学习算法(泛)、推理部署与加速

答案要点

  1. 训练时以概率 p 随机将神经元输出置零,掩码对每个样本每次迭代独立采样
  2. 效果近似大量共享权重子网络的集成,减少神经元共适应,缓解过拟合
  3. 被丢弃单元相连的权重在该步梯度为零,其余权重正常更新
  4. Inverted dropout:训练时除以保留概率 1−p,推理时不做处理,保证期望一致
  5. Dropout 可看作训练大量共享权重的子网络,推理时近似对它们取平均

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题