Embedding 的含义:词嵌入与句嵌入的区别
哪些公司问过
答案要点
- Embedding:把离散对象映射为低维稠密向量,语义相近则向量相近
- 词嵌入以词或 token 为单位:静态的 Word2Vec、GloVe 无法区分多义,BERT 等给出上下文相关表示
- 句嵌入以整句或段落为单位,用一个向量表示整体语义,用于检索、聚类、去重
- 句嵌入获取:池化 token 向量或取 CLS,或专门训练(Sentence-BERT、对比学习训练的 embedding 模型)
易错点
- 把静态词向量和上下文相关表示混为一谈
- 认为把词向量简单平均就能得到高质量句向量
- 句嵌入检索时使用与模型训练不一致的相似度度量
面试官常见追问
- 为什么直接用 BERT 的 CLS 向量做句子相似度效果不好?
- Word2Vec 的两种训练方式?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。