面试题库 › C++ / 后端 › Word2Vec 与 BERT 的区别

Word2Vec 与 BERT 的区别

难度 ★★☆在 1 场真实面经中被问到 方向:C++ / 后端

哪些公司问过

vivo1

常见岗位:NLP / 语音

答案要点

  1. Word2Vec 是静态词向量,一词一向量,无法区分多义词
  2. BERT 输出上下文相关表示,同一词在不同语境向量不同
  3. Word2Vec 为浅层网络,CBOW 或 Skip-gram 配合负采样或层次 softmax 训练
  4. BERT 基于多层 Transformer 编码器,以掩码语言模型为主要预训练任务
  5. BERT 用 WordPiece 子词缓解未登录词,通常整体微调,效果好但计算成本高

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。