文本数值化的常见方法与对比
哪些公司问过
答案要点
- One-Hot维度等于词表大小、高度稀疏,词之间正交无法表达相似度
- BOW统计词频忽略词序,可加N-gram补充局部顺序
- TF-IDF等于词频乘逆文档频率,突出区分性强的词,适合分类和检索
- word2vec(CBOW、Skip-gram)基于局部上下文,GloVe基于全局共现统计
- 静态词向量无法处理一词多义,BERT等上下文表示可以解决
易错点
- 把TF-IDF当成分布式表示
- 说word2vec能区分一词多义,它是静态词向量
- 忽略BOW和TF-IDF都丢失了词序信息
面试官常见追问
- word2vec的CBOW和Skip-gram有什么区别?
- word2vec和GloVe的区别?
- 文档向量怎么从词向量得到?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。