Tokenizer 原理:BPE、WordPiece 与词表构建
哪些公司问过
答案要点
- Tokenization 将文本切为子词并映射 ID,平衡词表大小与未登录词
- BPE 按相邻符号对频次迭代合并,字节级 BPE 无未知字符
- WordPiece 按合并后似然提升选对,BERT 使用
- Unigram 从大词表按似然损失逐步裁剪,支持多种切分
- SentencePiece 是把空格视为普通字符的工具库,支持 BPE 与 Unigram
易错点
- 把 SentencePiece 当作和 BPE 并列的独立算法
- 混淆 BPE 的频次合并与 WordPiece 的似然合并
- 以为 tokenizer 和模型可以随意替换
面试官常见追问
- 词表大小怎么影响模型?
- 中文在不同 tokenizer 下有什么差异?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。