增量预训练的含义与混合数据加训方法
哪些公司问过
答案要点
- 增量指在已有基座权重上用新增领域或语言数据继续训练,目标仍是下一个 token 预测
- 混合加训:领域数据中按比例混入通用语料回放,必要时混入少量指令数据,比例靠实验调
- 缓解遗忘的手段:数据回放、较小学习率与重新 warmup、控制训练步数
- 数据侧要去重、清洗、做质量过滤,并检查与评测集是否泄漏
- 评估同时看领域困惑度/领域评测提升和通用基准是否下降
易错点
- 只用领域数据训练不做回放,导致通用能力明显下降
- 沿用原预训练的大学习率,破坏已有知识
- 只看领域指标,不检查通用基准退化
面试官常见追问
- 混合加训和 continue SFT 哪个效果好?
- 增量预训练用多少数据,怎么评估效果?
- SFT loss 的起点和收敛情况一般怎样?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。