Hive 底层文件存储结构与常见文件格式
哪些公司问过
乐享元游1
答案要点
- 数据存在 HDFS,元数据存在 Metastore,常见后端是 MySQL
- 目录层次:库目录、表目录、分区目录 key=value,分桶表按桶拆成多个文件
- 通过 InputFormat、OutputFormat 和 SerDe 完成文件读写与行列解析
- 格式分行存 TextFile、SequenceFile 和列存 RCFile、ORC、Parquet,数仓常用 ORC 与 Parquet
- ORC 由 stripe、footer、postscript 组成,带列统计信息,支持列裁剪、压缩和谓词下推
易错点
- 把 Hive 当成存储引擎,实际上数据在 HDFS,Hive 只管元数据和计算转换
- 混淆分区和分桶:分区是目录,分桶是按哈希拆分的文件
- 只背格式名称,说不出列存为何能减少 IO
面试官常见追问
- ORC 和 Parquet 怎么选?
- 内部表和外部表在文件层面有什么区别?
- 谓词下推在 ORC 中怎么生效?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。