面试题库 › 算法 / 大模型 › BERT 嵌入层的组成与相加方式

BERT 嵌入层的组成与相加方式

难度 ★☆☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:预训练模型

哪些公司问过

小米1

常见岗位:NLP / 语音

答案要点

  1. 三部分:token embedding(WordPiece 查表)、segment embedding(区分句子 A/B)、position embedding(位置)
  2. 三者维度相同,逐元素相加,再经 LayerNorm 和 dropout 输入编码器
  3. 位置编码是可学习的绝对位置向量,最大长度 512,不同于原始 Transformer 的正弦编码
  4. 输入格式:开头加 [CLS],句子之间与结尾加 [SEP],[CLS] 的输出常用于分类
  5. 选择相加而非拼接:维度不变,且等价于 one-hot 拼接后线性投影,信息不会简单丢失

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题