SFT 数据怎么筛选、采样和控制质量
哪些公司问过
答案要点
- SFT 效果更依赖数据质量而非数量
- 去重:精确去重加 MinHash 近似去重;过滤:规则、困惑度、奖励模型或大模型打分
- 验证正确性:数学核对答案,代码运行;清洗敏感信息、统一格式、去污染
- 采样:按任务、领域、难度、长度配比,保证多样性,难例适当加权
- 小规模实验验证,用评测集迭代;少量高质量多样数据优于大量噪声数据
易错点
- 只追求数据数量
- 不验证数据的正确性
- 不做去重和去污染
面试官常见追问
- 奖励模型训练的对比数据怎么构造?
- PPO 训练里 KL 系数怎么调,策略崩溃怎么办?
- 什么是去污染?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。