面试题库 › 算法 / 大模型 › 代码补全 Agent 的分词器会遇到哪些问题

代码补全 Agent 的分词器会遇到哪些问题

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:大模型基础

哪些公司问过

百度2

常见岗位:大模型算法

答案要点

  1. 缩进和空白有语义,要高效表示,否则 token 数暴涨
  2. 标识符的驼峰和下划线被切得很碎,需子词和合理词表,关注压缩率
  3. 多语言多符号覆盖,字节级 BPE 避免未知字符
  4. 补全需支持 FIM 特殊标记,光标落在 token 中间时做 token 修复
  5. 训练和推理使用同一套分词,评估压缩率和延迟

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题