模型蒸馏的数据如何构建?蒸馏得到的数据如何清洗?
哪些公司问过
蚂蚁集团1蚂蚁金服1
答案要点
- 输入指令来自真实业务问题和开源数据,经改写扩充,覆盖目标任务分布
- 教师模型生成回答,可多次采样,推理任务保留思考过程
- 只有文本输出时做序列级蒸馏(监督微调),能拿到概率分布时可用软标签蒸馏
- 清洗:去重(含近似重复)、过滤截断、乱码、拒答等格式问题
- 正确性校验(对答案、跑测试、模型打分),去除与评测集重叠的数据,并做类别平衡
易错点
- 只追求数据量,不做正确性校验,把教师的错误一并蒸馏给学生
- 数据分布与目标任务偏差大,导致学生在真实场景表现差
- 忽略评测集污染,误判蒸馏效果
面试官常见追问
- 什么是拒绝采样?在蒸馏数据里怎么用?
- 传统分类模型蒸馏怎么用软标签?
- 为什么要做评测集去污染?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。