Word2Vec 的原理与优化
哪些公司问过
答案要点
- Word2Vec 把词映射为低维稠密向量,语义相近的词向量也相近
- 两种结构:CBOW(上下文预测中心词)、Skip-gram(中心词预测上下文)
- 训练后输入层到隐藏层的权重就是词向量
- 优化:层次 Softmax(哈夫曼树)、负采样,避免对整个词表做 softmax
- 局限:一个词只有一个向量,不能处理多义词;可捕捉类比关系
易错点
- 说不清 CBOW 和 Skip-gram 的预测方向
- 不知道负采样和层次 softmax 的作用
- 认为 Word2Vec 能处理多义词
- 把词向量说成独热编码
面试官常见追问
- 了解 Embedding 吗?
- CBOW 和 Skip-gram 怎么选?
- 负采样是怎么做的?
- Word2Vec 和后来的 BERT 词表示有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。