面试题库 › 算法 / 大模型 › 深度学习基础:BN、激活函数、梯度下降与正则化

深度学习基础:BN、激活函数、梯度下降与正则化

难度 ★★☆在 37 场真实面经中被问到 方向:算法 / 大模型考点:归一化方法

哪些公司问过

字节跳动5美团4小鹏2快手2华为2海康威视2腾讯1英伟达1地平线1百度腾讯亚马逊1

常见岗位:计算机视觉、机器学习算法(泛)、推荐搜索广告、推理部署与加速、大模型算法

答案要点

  1. BN:按 mini-batch 归一化,再用可学习的 γ、β 缩放平移;训练用 batch 统计量,推理用滑动平均
  2. BN 的作用:加快训练、允许更大学习率、缓解梯度问题,有一定正则化效果
  3. 激活函数:sigmoid/tanh 会饱和;ReLU 简单高效但可能神经元死亡;GELU 常用于 Transformer
  4. 优化器:SGD、动量、Adam(自适应学习率,最常用);学习率与 batch size 影响训练
  5. 正则化:L1/L2、Dropout、早停、数据增强;预处理:标准化、缺失值处理、类别编码

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题