改进的 TF-IDF 方法(含 BM25)
哪些公司问过
答案要点
- 原始问题:词频线性增长、长文档占优、没有语义和位置信息
- 亚线性词频:用 1+log(tf) 等方式压缩高频词的影响
- BM25:词频饱和(k1 控制)+ 文档长度归一化(b 控制)+ 平滑 IDF,是检索经典基线
- 加权扩展:结合标题或位置、词性、类别分布等因素调整权重
- 语义增强:用 TF-IDF 对词向量加权平均,或与稠密检索做混合检索
易错点
- 说不清 BM25 相对 TF-IDF 改进了哪几处,只会背公式
- 忽略 IDF 会放大只出现在极少文档中的噪声词、错别字的权重
- 误以为 TF-IDF 能捕捉同义词等语义关系
面试官常见追问
- BM25 中 k1 和 b 的作用?
- 现在 RAG 里还用 BM25 吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。