常见文本编码器有哪些及其原理
哪些公司问过
答案要点
- 稀疏表示:词袋、TF-IDF,按词频和逆文档频率加权,不建模语序和语义
- 静态词向量:word2vec 的 CBOW 和 Skip-gram、GloVe 的全局共现、FastText 的子词 n-gram,局限是不能区分一词多义
- 上下文编码器:ELMo 用双向 LSTM,BERT 用 Transformer 编码器和掩码语言模型,输出随上下文变化
- 句向量模型:Sentence-BERT、SimCSE、BGE、E5 等用孪生结构或对比学习训练,适合语义检索和聚类
- 能讲选型:关键词匹配用稀疏方法,语义检索用稠密向量,实际常把两者混合召回
易错点
- 说 word2vec 能区分一词多义,它是静态向量,每个词只有一个表示
- 把 BERT 说成解码器结构,BERT 用的是 Transformer 编码器
- 认为向量模型一定优于 BM25,专有名词、编号类精确匹配场景稀疏方法往往更稳
面试官常见追问
- 为什么 BERT 的 CLS 向量直接做句子相似度效果不好?
- Skip-gram 训练时为什么要负采样?
- 对比学习训练句向量的基本思路是什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。