面试题库 › 算法 / 大模型 › 改进的 TF-IDF 方法(含 BM25)

改进的 TF-IDF 方法(含 BM25)

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:词向量与文本表示

哪些公司问过

cvte1

常见岗位:NLP / 语音

答案要点

  1. 原始问题:词频线性增长、长文档占优、没有语义和位置信息
  2. 亚线性词频:用 1+log(tf) 等方式压缩高频词的影响
  3. BM25:词频饱和(k1 控制)+ 文档长度归一化(b 控制)+ 平滑 IDF,是检索经典基线
  4. 加权扩展:结合标题或位置、词性、类别分布等因素调整权重
  5. 语义增强:用 TF-IDF 对词向量加权平均,或与稠密检索做混合检索

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题