Token 是怎么切分的,为什么单词会被拆开
哪些公司问过
答案要点
- Token 是处理文本的基本单位,可能是词、词的一部分、字或标点
- BPE 反复合并最高频的相邻符号对;WordPiece 按似然提升选择合并
- 常见词被合并成一个 token,罕见词被拆成多个子词
- 子词兼顾词表大小与覆盖率,字节级 BPE 可避免未登录词
- 不同模型分词器不同,token 数不同,影响成本和上下文长度
易错点
- 说 token 就是单词
- 说不出子词算法的合并过程
- 忽略分词器差异对成本的影响
面试官常见追问
- 为什么不直接用字符或整词?
- 为什么 strawberry 会被拆开,数字母还容易出错?
- 字节级 BPE 有什么好处?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。