深度学习基础:BN、激活函数、梯度下降与正则化
哪些公司问过
答案要点
- BN:按 mini-batch 归一化,再用可学习的 γ、β 缩放平移;训练用 batch 统计量,推理用滑动平均
- BN 的作用:加快训练、允许更大学习率、缓解梯度问题,有一定正则化效果
- 激活函数:sigmoid/tanh 会饱和;ReLU 简单高效但可能神经元死亡;GELU 常用于 Transformer
- 优化器:SGD、动量、Adam(自适应学习率,最常用);学习率与 batch size 影响训练
- 正则化:L1/L2、Dropout、早停、数据增强;预处理:标准化、缺失值处理、类别编码
易错点
- 说 BN 在推理时仍用当前 batch 的统计量
- 认为 sigmoid 适合所有隐藏层
- 忘了 BN 的 γ、β 是可学习参数
- 对测试集单独做标准化,而不是使用训练集的统计量
面试官常见追问
- BN 和 LN 有什么区别?
- ReLU 有什么缺点,怎么改进?
- Adam 的原理是什么?
- 为什么要做数据标准化?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。