BPE 分词原理与为什么使用 BPE
哪些公司问过
答案要点
- 训练:从字符开始,迭代合并最高频相邻符号对,直到达到目标词表大小
- 分词:按学到的合并规则顺序应用
- 优势:平衡词表大小与序列长度,缓解 OOV,能表示罕见词和形态变化
- 字节级 BPE(如 GPT-2)以字节为基本单元,任意文本都可编码
- 相关算法:WordPiece(BERT)按似然增益合并,Unigram 从大词表剪枝
易错点
- 说 BERT 用的是 BPE,实际是 WordPiece
- 把 BPE 合并依据说成语义相似度,实际是频率
- 以为 BPE 完全没有 OOV,字符级 BPE 遇到未见字符仍可能出现,字节级才可避免
面试官常见追问
- BPE、WordPiece、Unigram 有什么区别?
- 词表大小怎么选?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。