如何检测重复字词堆砌的无意义垃圾文本
哪些公司问过
答案要点
- 重复度特征:唯一字符比例、Top n-gram 字符占比、重复短语或重复行比例
- 压缩比与字符信息熵:重复堆砌的文本压缩率高、熵低
- 辅助特征:有效词占比、符号占比、平均词长、文本长度
- 规则难以覆盖的语义不通文本,用困惑度或轻量质量分类器补充
- 阈值在标注集上调,按文本长度和业务场景分别设定,控制误杀
易错点
- 只看单字重复,忽略“屁股屁股”这类词级或短语级重复
- 一刀切的阈值导致短评、口语化表达被误杀
- 以为垃圾文本困惑度一定高,重复文本的困惑度可能很低
面试官常见追问
- 困惑度能直接识别重复文本吗?
- 大规模语料清洗时怎么做才高效?
- 怎么评估过滤效果?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。