HDFS 小文件的危害与解决办法
哪些公司问过
答案要点
- 每个文件、目录、块的元数据在 NameNode 内存中约占 150 字节,小文件多会耗尽内存
- 元数据请求增多、NameNode 启动加载变慢,限制集群扩展性
- 计算任务按文件切片,小文件导致任务数暴增,调度开销大,读取寻址开销也大
- 源头治理:写入端攒批,Flume 调大滚动阈值,Spark 写出前 coalesce 或 repartition
- 事后合并:HAR 归档、SequenceFile、Hive 合并参数、CombineFileInputFormat、定期合并任务
易错点
- 以为小文件主要浪费磁盘空间
- 只做事后合并,不在写入源头控制文件大小
- 合并后忘记更新下游表的元数据或分区
面试官常见追问
- 小文件会占满一个 128MB 的块的磁盘空间吗?
- HAR 有什么缺点?
- Hive 中怎么减少小文件?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。