大文件中查找重复行
哪些公司问过
答案要点
- 内存够时:逐行读取 + 哈希集合,时间 O(n);可只存行哈希值节省内存
- 超内存:按 hash(行) mod K 拆分小文件,相同行必在同一文件,再逐个处理
- 外部排序:分块排序写出,多路归并时比较相邻行
- 布隆过滤器省内存但有假阳性,命中需二次确认
- 更大规模用 MapReduce 以行为 key 分组计数
易错点
- 直接把整个大文件读入内存
- 拆分时按行号或大小切分,相同的行被分到不同文件
- 把布隆过滤器的结果当成精确答案
面试官常见追问
- 当文件大小超过内存时,重复行检测方案如何调整?
- 只存哈希值会有什么问题?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。