Embedding 层的初始化方法
哪些公司问过
答案要点
- 随机初始化:小标准差正态分布,如 0.02,或小范围均匀、Xavier 初始化
- PyTorch nn.Embedding 默认标准正态分布,标准差为 1,常需按模型调小
- 原始 Transformer 将 embedding 乘以模型维度的平方根
- 预训练初始化:Word2Vec、GloVe 或已有模型向量,可冻结或微调
- padding 向量置零不更新;权重共享时兼顾尺度;冷启动 ID 可用内容特征均值初始化
易错点
- 初始化标准差过大,训练初期数值不稳定
- padding 向量参与更新,影响池化结果
- 把 PyTorch 默认初始化当成适合所有模型的设置
面试官常见追问
- 为什么不能全部初始化为零?
- 预训练向量应该冻结还是微调?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。