几百亿级数据如何高效写入文件
哪些公司问过
答案要点
- 按范围或哈希切分数据,多机多 worker 并行写各自文件,减少锁竞争
- 内存攒批顺序写,按大小滚动文件,避免小 IO 和小文件过多
- 分析场景用 Parquet、ORC 等列式格式并压缩
- 写入 HDFS 或对象存储,维护分片元数据
- 分片级断点续跑,用行数和校验值核对完整性
易错点
- 多个线程写同一个文件导致加锁串行
- 逐条写入,IO 次数过多
- 没有元数据和校验,无法确认数据完整
面试官常见追问
- 为什么要做分布式?
- 性能瓶颈除了数据库还有哪些?
- 分库分表如何减少锁竞争?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。