面试题库 › 算法 / 大模型 › BPE 分词原理与为什么使用 BPE

BPE 分词原理与为什么使用 BPE

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:词向量与文本表示

哪些公司问过

阿里云1

常见岗位:机器学习算法(泛)

答案要点

  1. 训练:从字符开始,迭代合并最高频相邻符号对,直到达到目标词表大小
  2. 分词:按学到的合并规则顺序应用
  3. 优势:平衡词表大小与序列长度,缓解 OOV,能表示罕见词和形态变化
  4. 字节级 BPE(如 GPT-2)以字节为基本单元,任意文本都可编码
  5. 相关算法:WordPiece(BERT)按似然增益合并,Unigram 从大词表剪枝

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题