面试题库 › Java 后端 › Hive/HDFS 小文件的成因、危害与合并过程

Hive/HDFS 小文件的成因、危害与合并过程

难度 ★★☆在 1 场真实面经中被问到 方向:Java 后端考点:大数据组件

哪些公司问过

乐享元游1

答案要点

  1. 小文件指远小于 HDFS 块大小的文件,块大小在 Hadoop 2 以后默认 128MB
  2. 危害:NameNode 内存元数据压力大;小文件过多导致 map 任务过多、调度开销大
  3. 成因:动态分区、reduce 数过多、实时或微批频繁追加写、上游零碎文件
  4. 合并:按分区统计平均文件大小筛出目标,用 insert overwrite 重写并配合合并参数或 distribute by 控制文件数
  5. ORC 表可用 concatenate;读取端可用 CombineHiveInputFormat 合并输入分片

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题