面试题库 › 算法 / 大模型 › Dropout 的作用

Dropout 的作用

难度 ★☆☆在 10 场真实面经中被问到 方向:算法 / 大模型考点:训练优化与正则化

哪些公司问过

阿里巴巴4字节跳动1百度1米哈游1

常见岗位:机器学习算法(泛)、计算机视觉、NLP / 语音、推理部署与加速、大模型算法

答案要点

  1. 训练时随机将一部分神经元输出置零,每次迭代丢弃的不同
  2. 作用:防止过拟合、增强泛化;避免神经元之间过度依赖,相当于多个子网络的集成
  3. 推理阶段不丢弃,需让输出期望对齐
  4. inverted dropout:训练时把保留的输出除以保留概率,推理时无需处理
  5. 比例常取 0.1~0.5;Transformer 中常用 0.1

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题