海量数据处理的常见套路
哪些公司问过
答案要点
- 分治:按哈希取模拆小文件,相同 key 进同一文件,再合并
- 哈希表计数加小顶堆求 Top K
- 位图适合整数去重、判存在、排序,2^32 个数需 512MB
- 布隆过滤器省空间但有误判且难删除,适合可容忍误判的过滤
- 外部排序加多路归并、Trie、MapReduce 也是常见手段
易错点
- 不先估算数据量和内存就套方法
- 以为布隆过滤器可以精确判断存在或支持直接删除
- 拆分时不用哈希,导致相同 key 落入不同文件
面试官常见追问
- 布隆过滤器误判率和什么有关?
- 如何在海量整数中找中位数?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。