面试题库 › 算法 / 大模型 › 深度学习常用的权重初始化方法有哪些?各适用什么情况?

深度学习常用的权重初始化方法有哪些?各适用什么情况?

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:训练优化与正则化

哪些公司问过

腾讯1字节跳动1vivo1

常见岗位:大模型算法、机器学习算法(泛)

答案要点

  1. 零初始化无法打破对称性,偏置可置零,权重不行
  2. Xavier 方差约 2/(fan_in+fan_out),适合 tanh、sigmoid
  3. Kaiming 方差 2/fan_in,补偿 ReLU 置零一半的方差损失
  4. 深层网络初始化不当会梯度消失或爆炸
  5. 归一化层能降低对初始化的敏感度,大模型常用小标准差正态初始化

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题