Hive/HDFS 小文件的成因、危害与合并过程
哪些公司问过
乐享元游1
答案要点
- 小文件指远小于 HDFS 块大小的文件,块大小在 Hadoop 2 以后默认 128MB
- 危害:NameNode 内存元数据压力大;小文件过多导致 map 任务过多、调度开销大
- 成因:动态分区、reduce 数过多、实时或微批频繁追加写、上游零碎文件
- 合并:按分区统计平均文件大小筛出目标,用 insert overwrite 重写并配合合并参数或 distribute by 控制文件数
- ORC 表可用 concatenate;读取端可用 CombineHiveInputFormat 合并输入分片
易错点
- 只在读取端合并输入,没有从写入端控制文件数,问题会持续累积
- 合并重写不校验行数,失败时可能造成数据丢失
- 以为小文件只影响查询性能,忽略对 NameNode 内存的压力
面试官常见追问
- Hive 有哪些控制输出合并的参数?
- 合并时如何保证不影响正在读的任务?
- 实时写入的表怎么治理小文件?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。