面试题库 › Java 后端 › 1亿个URL找出重复项并计数

1亿个URL找出重复项并计数

难度 ★★☆在 1 场真实面经中被问到 方向:Java 后端考点:TopK与海量数据

哪些公司问过

科大讯飞1

常见岗位:Java 后端

答案要点

  1. 先估算数据量与内存,明确约束再选方案
  2. 按 hash(URL)%K 拆成小文件,相同 URL 落入同一文件
  3. 逐个小文件用哈希表计数,次数大于 1 即为重复
  4. 小文件过大时换哈希函数二次拆分
  5. 布隆过滤器可预筛疑似重复,再精确计数;更大规模用 MapReduce

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题