什么是 Token 以及不同模型 Token 数为何不同
哪些公司问过
答案要点
- Token是分词器切分后的基本单位,映射为ID和向量后输入模型
- 主流用BPE、WordPiece、Unigram等子词算法,高频片段合并成Token
- 长词、罕见词被拆成多个子词,保证有限词表覆盖任意文本
- 不同模型分词算法、语料和词表大小不同,同一文本Token数不同
易错点
- 认为一个Token等于一个词或一个汉字
- 忽略不同模型分词器不同,跨模型直接比较Token数
- 以为子词切分完全没有未登录问题,非字节级的词表仍可能出现未知符号
面试官常见追问
- 以Token而非字符或单词为单位的优势?
- Token数会带来哪些实际影响?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。