面试题库 › 算法 / 大模型 › Token 是怎么切分的,为什么单词会被拆开

Token 是怎么切分的,为什么单词会被拆开

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:大模型基础

哪些公司问过

字节跳动1拼多多1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. Token 是处理文本的基本单位,可能是词、词的一部分、字或标点
  2. BPE 反复合并最高频的相邻符号对;WordPiece 按似然提升选择合并
  3. 常见词被合并成一个 token,罕见词被拆成多个子词
  4. 子词兼顾词表大小与覆盖率,字节级 BPE 可避免未登录词
  5. 不同模型分词器不同,token 数不同,影响成本和上下文长度

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题