蒸馏时如何防止小模型学到错误推理链
哪些公司问过
答案要点
- 用标准答案或单元测试过滤,只保留结果正确的推理链
- 多次采样与多数投票提升可信度
- 用过程奖励模型或强模型逐步检查,剔除过程错误但答案碰巧正确的样本
- 规则过滤重复、过长、格式混乱的链;按可信度加权并混入人工审核数据
- 评估时抽查推理过程并测试分布外题目
易错点
- 只按最终答案过滤,忽视过程错误但答案正确的样本
- 只取单次采样结果,没有一致性校验
- 只看最终准确率,不检查推理过程质量
面试官常见追问
- 没有标准答案的开放任务怎么过滤?
- 推理链过长会带来什么问题?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。