深度学习常用的权重初始化方法有哪些?各适用什么情况?
哪些公司问过
答案要点
- 零初始化无法打破对称性,偏置可置零,权重不行
- Xavier 方差约 2/(fan_in+fan_out),适合 tanh、sigmoid
- Kaiming 方差 2/fan_in,补偿 ReLU 置零一半的方差损失
- 深层网络初始化不当会梯度消失或爆炸
- 归一化层能降低对初始化的敏感度,大模型常用小标准差正态初始化
易错点
- 说权重可以全零初始化
- 把 Xavier 和 Kaiming 的适用激活函数说反
- 以为有 BN 就完全不需要关心初始化
面试官常见追问
- Kaiming 初始化的原理?
- LoRA 的权重是怎么初始化的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。