面试题库 › 算法 / 大模型 › 词表大小的影响与专有词汇扩充词表

词表大小的影响与专有词汇扩充词表

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:大模型基础

哪些公司问过

蚂蚁集团1

常见岗位:大模型算法

答案要点

  1. 词表大:序列短、推理省、多语言与罕见词切分好;代价是 Embedding/输出层参数和 softmax 计算增大
  2. 词表小:序列变长、计算和上下文成本上升,低频 token 问题较少
  3. 扩充词表:领域语料训练 BPE 或添加高频专有词,同步扩大 Embedding 与 lm_head
  4. 新增 token 常用其原子词 Embedding 均值初始化,比随机初始化更稳
  5. 扩充后需要继续预训练,新参数可用较大学习率,原参数小学习率或先冻结

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题