面试题库 › 算法 / 大模型 › Token 与字符有什么区别

Token 与字符有什么区别

难度 ★☆☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型基础

哪些公司问过

阿里巴巴1

常见岗位:产品经理

答案要点

  1. 字符是书写单位,Token 是分词器切出的模型处理单位
  2. 主流用 BPE 等子词分词,常见词合并、罕见词拆分
  3. 英文经验上约 4 个字符一个 Token,中文比例取决于分词器
  4. 上下文长度和计费按 Token 计算,需用对应分词器计数

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题