大模型训练数据的质量评估与过滤方法
哪些公司问过
答案要点
- 质量维度:正确性、一致性、信息量、多样性与覆盖度、安全合规
- 启发式规则:语言识别、长度、符号比例、重复 n-gram、URL 黑名单等
- 去重:精确哈希加 MinHash LSH 近似去重,并与评测集去重防污染
- 模型过滤:困惑度过滤、fastText 质量分类器、大模型打分后蒸馏为小分类器
- 量化评估:抽检合格率与分数分布,最终用小模型消融看下游指标
易错点
- 过滤过严导致多样性下降,误删代码、专业领域或小语种等有价值数据
- 只用规则不做去重,重复数据会加剧记忆化并污染评测
- 仅凭分类器分数判断质量,不做人工抽检和下游消融验证
面试官常见追问
- 上线指标有哪些?效果如何测评?
- 多难度样本共存时,如何防范 SFT 过拟合?
- 质量过滤用什么模型?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。