词表大小的影响与专有词汇扩充词表
哪些公司问过
答案要点
- 词表大:序列短、推理省、多语言与罕见词切分好;代价是 Embedding/输出层参数和 softmax 计算增大
- 词表小:序列变长、计算和上下文成本上升,低频 token 问题较少
- 扩充词表:领域语料训练 BPE 或添加高频专有词,同步扩大 Embedding 与 lm_head
- 新增 token 常用其原子词 Embedding 均值初始化,比随机初始化更稳
- 扩充后需要继续预训练,新参数可用较大学习率,原参数小学习率或先冻结
易错点
- 只改 tokenizer 不调整模型 Embedding 尺寸,导致索引越界
- 扩充后不做继续预训练直接用,新 token 表示质量很差
- 加入过多低频词,增加参数却得不到充分训练
面试官常见追问
- 不扩充词表能解决专有词切碎的问题吗?
- 扩词表后为什么输出层也要初始化?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。