BERT 嵌入层的组成与相加方式
哪些公司问过
答案要点
- 三部分:token embedding(WordPiece 查表)、segment embedding(区分句子 A/B)、position embedding(位置)
- 三者维度相同,逐元素相加,再经 LayerNorm 和 dropout 输入编码器
- 位置编码是可学习的绝对位置向量,最大长度 512,不同于原始 Transformer 的正弦编码
- 输入格式:开头加 [CLS],句子之间与结尾加 [SEP],[CLS] 的输出常用于分类
- 选择相加而非拼接:维度不变,且等价于 one-hot 拼接后线性投影,信息不会简单丢失
易错点
- 说成三种 embedding 拼接
- 把 BERT 的位置编码说成正弦函数
- 漏掉相加后的 LayerNorm,或说 segment 可以有任意多种
面试官常见追问
- BERT 为什么限制最大长度 512?
- 可学习位置编码和正弦位置编码有什么区别?
- 中文 BERT 的 token 是怎么切的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。