内存受限时对 100 个 100MB 大字符串去重
哪些公司问过
答案要点
- 总量约 10GB 超出 2GB 内存,不能整体加载做两两比较
- 先按长度分组过滤,长度不同的字符串必然不重复
- 对每个字符串分块流式计算 SHA-256 等哈希指纹,内存只与块大小相关
- 长度和指纹相同才是候选,再分块逐字节比较排除哈希碰撞,确认后保留一份
- 整体近似顺序读一遍数据,IO 为瓶颈,可多线程并行计算指纹
易错点
- 试图把全部字符串读入内存或直接两两逐字节比较
- 只比哈希不做复核,却声称结果绝对精确
- 计算哈希时一次性读入整个 100MB 字符串多份并发,导致内存超限
面试官常见追问
- 如果是海量的短字符串去重怎么办?
- 为什么不直接用 2GB 内存一次装多个字符串比较?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。