Word2Vec 与 BERT 的区别
哪些公司问过
答案要点
- Word2Vec 是静态词向量,一词一向量,无法区分多义词
- BERT 输出上下文相关表示,同一词在不同语境向量不同
- Word2Vec 为浅层网络,CBOW 或 Skip-gram 配合负采样或层次 softmax 训练
- BERT 基于多层 Transformer 编码器,以掩码语言模型为主要预训练任务
- BERT 用 WordPiece 子词缓解未登录词,通常整体微调,效果好但计算成本高
易错点
- 把 Word2Vec 说成深度网络;它只有一层投影加输出层
- 以为 BERT 是 Transformer 解码器或单向模型
- 把 BERT 输入端的词嵌入当作上下文表示,上下文向量来自编码器各层输出
面试官常见追问
- CBOW 和 Skip-gram 有什么区别?
- BERT 为什么是双向的,和 GPT 有何不同?
- 负采样解决了什么问题?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。