面试题库 › 算法 / 大模型 › Embedding 层的初始化方法

Embedding 层的初始化方法

难度 ★☆☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:训练优化与正则化

哪些公司问过

腾讯1

常见岗位:人工智能

答案要点

  1. 随机初始化:小标准差正态分布,如 0.02,或小范围均匀、Xavier 初始化
  2. PyTorch nn.Embedding 默认标准正态分布,标准差为 1,常需按模型调小
  3. 原始 Transformer 将 embedding 乘以模型维度的平方根
  4. 预训练初始化:Word2Vec、GloVe 或已有模型向量,可冻结或微调
  5. padding 向量置零不更新;权重共享时兼顾尺度;冷启动 ID 可用内容特征均值初始化

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题