面试题库 › 算法 / 大模型 › 常见文本编码器有哪些及其原理

常见文本编码器有哪些及其原理

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:词向量与文本表示

哪些公司问过

小米1

常见岗位:大模型算法

答案要点

  1. 稀疏表示:词袋、TF-IDF,按词频和逆文档频率加权,不建模语序和语义
  2. 静态词向量:word2vec 的 CBOW 和 Skip-gram、GloVe 的全局共现、FastText 的子词 n-gram,局限是不能区分一词多义
  3. 上下文编码器:ELMo 用双向 LSTM,BERT 用 Transformer 编码器和掩码语言模型,输出随上下文变化
  4. 句向量模型:Sentence-BERT、SimCSE、BGE、E5 等用孪生结构或对比学习训练,适合语义检索和聚类
  5. 能讲选型:关键词匹配用稀疏方法,语义检索用稠密向量,实际常把两者混合召回

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题