高质量 SFT 数据集的构建与配比
哪些公司问过
答案要点
- 来源结合真实用户问题、人工精写和强模型合成后筛选的数据
- 清洗:精确与近似去重,过滤错误、低质和不安全样本,统一 chat template
- 指令多样化改写,回答长度和风格有变化,减少过度模板化
- 按任务类型分层配比,混入通用数据防止能力退化,比例靠消融实验确定
- 偏好数据为同一 prompt 下的成对回答;训练集与评测集去重防止污染
易错点
- 一味追求数据量,忽视质量与多样性
- 只用单一领域数据微调,导致通用能力下降
- 不做训练集与评测集去重,评测结果虚高
面试官常见追问
- 如果为通用助手做后训练,数据配比和训练阶段怎么设计?
- 如何控制数据污染和分布偏移?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。