Dropout 的原理与训练时的权重更新
哪些公司问过
美团1奥比中光科技集团股份有限公司1
答案要点
- 训练时以概率 p 随机将神经元输出置零,掩码对每个样本每次迭代独立采样
- 效果近似大量共享权重子网络的集成,减少神经元共适应,缓解过拟合
- 被丢弃单元相连的权重在该步梯度为零,其余权重正常更新
- Inverted dropout:训练时除以保留概率 1−p,推理时不做处理,保证期望一致
- Dropout 可看作训练大量共享权重的子网络,推理时近似对它们取平均
易错点
- 混淆 p 的含义:有的框架 p 是丢弃概率,有的论文里 p 是保留概率
- 以为被丢弃的权重在后续迭代都不更新:掩码每步重新采样
- 说测试时也随机丢弃:常规推理关闭 Dropout,MC Dropout 估计不确定性是特例
面试官常见追问
- Dropout 和 BN 一起用有什么问题?
- 为什么训练时要除以保留概率?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。