1亿个URL找出重复项并计数
哪些公司问过
答案要点
- 先估算数据量与内存,明确约束再选方案
- 按 hash(URL)%K 拆成小文件,相同 URL 落入同一文件
- 逐个小文件用哈希表计数,次数大于 1 即为重复
- 小文件过大时换哈希函数二次拆分
- 布隆过滤器可预筛疑似重复,再精确计数;更大规模用 MapReduce
易错点
- 直接把 1 亿个 URL 全部放进内存哈希表
- 用布隆过滤器结果直接当作精确的重复判断
- 拆分后只统计各文件而没有正确汇总结果
面试官常见追问
- 如果只想知道出现最多的 10 个 URL 呢?
- URL 很长怎么省内存?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。