面试题库 › 算法 / 大模型 › 文本长度相近时 Token 开销受哪些因素影响

文本长度相近时 Token 开销受哪些因素影响

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:大模型基础

哪些公司问过

快手1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. 分词器决定一切:不同模型词表不同,同样文本 token 数不同,要用对应模型的 tokenizer 实测
  2. 语言与字符:中英文、数字、生僻字、emoji 的切分粒度差异明显
  3. 随机串(UUID、哈希、base64、URL)缺少词条,会被切成大量碎片,同长度下开销远高于自然语言
  4. 格式开销:JSON 引号括号、YAML 缩进、空白和换行都计入 token
  5. 调用层面还有模板特殊标记、system prompt、工具定义等固定开销,输入输出单价通常不同,部分平台对缓存命中有折扣

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题