面试题库 › Java 后端 › 如何检测重复字词堆砌的无意义垃圾文本

如何检测重复字词堆砌的无意义垃圾文本

难度 ★★☆在 1 场真实面经中被问到 方向:Java 后端考点:预训练与数据

哪些公司问过

字节跳动1

常见岗位:C++ 后端

答案要点

  1. 重复度特征:唯一字符比例、Top n-gram 字符占比、重复短语或重复行比例
  2. 压缩比与字符信息熵:重复堆砌的文本压缩率高、熵低
  3. 辅助特征:有效词占比、符号占比、平均词长、文本长度
  4. 规则难以覆盖的语义不通文本,用困惑度或轻量质量分类器补充
  5. 阈值在标注集上调,按文本长度和业务场景分别设定,控制误杀

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题