面试题库 › Java 后端 › 内存受限时对 100 个 100MB 大字符串去重

内存受限时对 100 个 100MB 大字符串去重

难度 ★★★在 1 场真实面经中被问到 方向:Java 后端考点:哈希表

哪些公司问过

拼多多1

常见岗位:Java 后端

答案要点

  1. 总量约 10GB 超出 2GB 内存,不能整体加载做两两比较
  2. 先按长度分组过滤,长度不同的字符串必然不重复
  3. 对每个字符串分块流式计算 SHA-256 等哈希指纹,内存只与块大小相关
  4. 长度和指纹相同才是候选,再分块逐字节比较排除哈希碰撞,确认后保留一份
  5. 整体近似顺序读一遍数据,IO 为瓶颈,可多线程并行计算指纹

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题