面试题库 › 算法 / 大模型 › Tokenizer 原理:BPE、WordPiece 与词表构建

Tokenizer 原理:BPE、WordPiece 与词表构建

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:大模型基础

哪些公司问过

阿里巴巴2快手1

常见岗位:大模型算法、AI 应用 / Agent 开发

答案要点

  1. Tokenization 将文本切为子词并映射 ID,平衡词表大小与未登录词
  2. BPE 按相邻符号对频次迭代合并,字节级 BPE 无未知字符
  3. WordPiece 按合并后似然提升选对,BERT 使用
  4. Unigram 从大词表按似然损失逐步裁剪,支持多种切分
  5. SentencePiece 是把空格视为普通字符的工具库,支持 BPE 与 Unigram

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题