TF-IDF的原理与计算方法
哪些公司问过
答案要点
- TF-IDF=TF×IDF,衡量词对文档的重要性
- TF为词在文档中的出现频率,通常按文档总词数归一化
- IDF常用log(N/(df+1)),词越稀有IDF越大,常见词权重被压低
- 应用于关键词提取、检索排序、文本分类特征
- 局限是词袋模型,忽略词序和语义;BM25在此基础上加入词频饱和与文档长度归一化
易错点
- 把IDF分子分母写反,或忘记取对数
- 以为词频越高越重要,忽略IDF对常见词的惩罚
- 认为TF-IDF能理解同义词和语义
面试官常见追问
- BM25相比TF-IDF改进了什么?
- IDF为什么要取对数?
- TF-IDF和词向量有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。