代码补全 Agent 的分词器会遇到哪些问题
哪些公司问过
答案要点
- 缩进和空白有语义,要高效表示,否则 token 数暴涨
- 标识符的驼峰和下划线被切得很碎,需子词和合理词表,关注压缩率
- 多语言多符号覆盖,字节级 BPE 避免未知字符
- 补全需支持 FIM 特殊标记,光标落在 token 中间时做 token 修复
- 训练和推理使用同一套分词,评估压缩率和延迟
易错点
- 只想到自然语言分词,忽略缩进和标识符
- 训练和推理使用不同的分词配置
- 忽略补全光标处的 token 边界问题
面试官常见追问
- 什么是 FIM?
- token 修复是什么?
- 怎么评估分词器好坏?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。