SFT 数据如何生成与标注,如何防止训练测试泄漏
答案要点
- 数据来源:脱敏真实问题、人工示范、强模型合成或蒸馏,按任务配比
- 质量控制:规则过滤、可验证任务自动校验、模型打分加人工抽检
- 标注先定细则,多人标注测一致性,用分歧样本迭代细则
- 防泄漏:先去重后切分,哈希去精确重复,MinHash、n-gram 或向量去近似重复,并查公开评测集重叠
- 按来源、时间或用户分组切分并冻结测试集,新增训练数据都要与其比对
易错点
- 先随机切分再去重,导致近似重复样本跨越训练和测试
- 只做精确去重,忽略改写、模板变体造成的近似泄漏
- 合成数据不做校验直接用,把教师模型的错误一并学进去
面试官常见追问
- 合成数据什么时候有用、什么时候会把模型带歪?
- 训练和测试要同分布吗?困难数据怎么处理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。