内存有限时找出两个大文件中的共同数据
哪些公司问过
拼多多1海量数据1
答案要点
- 数据无法全量载入内存,需要分块或流式处理
- 哈希分桶:同一哈希函数对两个文件取模切分,相同 id 必在同号桶
- 逐对加载桶,小的建哈希集合,大的流式扫描求交
- 桶过大或数据倾斜时换哈希函数二次切分
- 外部排序加多路归并,再双指针扫描求交集,可用布隆过滤器预筛
易错点
- 两个文件用了不同的哈希函数或桶数,相同 id 落入不同桶
- 没考虑数据倾斜导致单个桶仍然装不进内存
- 忽略中间文件占用的磁盘空间和 IO 成本
面试官常见追问
- 先排序再扫描的方法具体怎么做?
- 分块后两两比较的方法有什么问题?
- 布隆过滤器能怎么用?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。