SFT 指令微调的作用、模板与数据构建
哪些公司问过
答案要点
- SFT 在基座模型上用指令—回答对做有监督训练,让模型遵循指令、对齐对话格式
- 训练目标是交叉熵,通常只对 assistant 部分计算 loss,prompt 部分 mask
- 模板包含 system、user、assistant 角色段,用模型特定的特殊 token 分隔
- 训练与推理必须使用同一 chat template
- 数据重质量与多样性:覆盖任务类型和难度,去重、过滤错误样本
易错点
- 对整个序列包括 prompt 都计算 loss,模型容易学会复述问题
- 训练和推理用的 chat template 不一致,效果明显下降
- 盲目堆数据量,忽视数据质量和多样性
面试官常见追问
- 预训练和微调,哪个阶段注入知识?
- 想让模型学某个行业的知识,应该预训练还是微调?
- 多轮对话任务如何微调?
- 微调后能力劣化,灾难性遗忘是怎么回事?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。