预训练数据构成与清洗方法
哪些公司问过
答案要点
- 网页数据规模大、覆盖广、成本低,因此占比最高
- 只靠网页的问题:噪声与重复多,代码、数学、书籍、论文等高质量长逻辑数据不足
- 需要混合书籍、论文、代码、百科、问答等数据,并对高质量源上采样
- 清洗流程:URL 过滤、正文提取、语言识别、启发式规则过滤、质量分类器打分
- 去重(精确与 MinHash 近似去重)、隐私与有害内容去除、评测集去污染
易错点
- 只追求数据量,不做去重和质量过滤
- 过滤过严导致多样性下降,比如误删方言、口语和小众领域内容
- 忽略评测集去污染,导致评测分数虚高
面试官常见追问
- 为什么去重对预训练很重要?
- 质量分类器怎么训练?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。