Dropout 的作用
哪些公司问过
答案要点
- 训练时随机将一部分神经元输出置零,每次迭代丢弃的不同
- 作用:防止过拟合、增强泛化;避免神经元之间过度依赖,相当于多个子网络的集成
- 推理阶段不丢弃,需让输出期望对齐
- inverted dropout:训练时把保留的输出除以保留概率,推理时无需处理
- 比例常取 0.1~0.5;Transformer 中常用 0.1
易错点
- 推理时仍然随机丢弃
- 忘了缩放,使训练和推理输出分布不一致
- 对所有层都使用很高的丢弃率,导致欠拟合
- 把 Dropout 说成丢弃权重:它丢弃的是神经元的输出
面试官常见追问
- 为什么推理时不用 Dropout?
- Transformer 用的是 Layer Norm 还是 Batch Norm?
- Dropout 和 L2 正则化有什么区别?
- Dropout 比例怎么选?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。