Token 与字符有什么区别
哪些公司问过
答案要点
- 字符是书写单位,Token 是分词器切出的模型处理单位
- 主流用 BPE 等子词分词,常见词合并、罕见词拆分
- 英文经验上约 4 个字符一个 Token,中文比例取决于分词器
- 上下文长度和计费按 Token 计算,需用对应分词器计数
易错点
- 把字数直接当 Token 数估算上下文和费用
- 以为 Token 一定等于一个词或一个字
面试官常见追问
- 为什么用子词分词而不是按字或按词?
- 同一段中文在不同模型里 Token 数为什么不一样?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。