文本长度相近时 Token 开销受哪些因素影响
哪些公司问过
答案要点
- 分词器决定一切:不同模型词表不同,同样文本 token 数不同,要用对应模型的 tokenizer 实测
- 语言与字符:中英文、数字、生僻字、emoji 的切分粒度差异明显
- 随机串(UUID、哈希、base64、URL)缺少词条,会被切成大量碎片,同长度下开销远高于自然语言
- 格式开销:JSON 引号括号、YAML 缩进、空白和换行都计入 token
- 调用层面还有模板特殊标记、system prompt、工具定义等固定开销,输入输出单价通常不同,部分平台对缓存命中有折扣
易错点
- 用字符数或字数直接估算 token,忽略分词器差异
- 以为不同模型对同一文本的 token 数相同
- 忽略 system prompt、工具定义等每次请求都会重复计费的部分
面试官常见追问
- 配置用 JSON 还是 YAML 更省 token?
- 怎么降低这类配置文本的 token 开销?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。