面试题库 › 算法 / 大模型 › 预训练数据构成与清洗方法

预训练数据构成与清洗方法

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:预训练与数据

哪些公司问过

阿里巴巴1

常见岗位:AI 应用 / Agent 开发、大模型算法

答案要点

  1. 网页数据规模大、覆盖广、成本低,因此占比最高
  2. 只靠网页的问题:噪声与重复多,代码、数学、书籍、论文等高质量长逻辑数据不足
  3. 需要混合书籍、论文、代码、百科、问答等数据,并对高质量源上采样
  4. 清洗流程:URL 过滤、正文提取、语言识别、启发式规则过滤、质量分类器打分
  5. 去重(精确与 MinHash 近似去重)、隐私与有害内容去除、评测集去污染

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题