高质量 CoT 数据的构造与筛选方法
哪些公司问过
答案要点
- CoT 需包含逐步推理过程,来源有人工撰写、强模型蒸馏、当前模型拒绝采样
- 结果筛选:规则或程序校验答案,无标准答案时用多数投票或奖励模型
- 过程筛选:检查逻辑连贯、无跳步与自相矛盾,强模型或过程奖励模型评估并人工抽检
- 去除冗长、重复绕圈、格式不符的样本
- 去重并控制难度与题型分布;业务场景先由专家写示范再批量扩充
易错点
- 只按最终答案筛选,不检查推理过程
- 数据集中在简单题,模型学不到复杂推理
- 推理链过于冗长,训练后模型输出啰嗦、推理成本高
面试官常见追问
- 为什么答案正确的 CoT 仍可能是坏数据?
- 蒸馏强模型的 CoT 要注意什么?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。