常用大数据框架:Hive 与 Spark
哪些公司问过
答案要点
- Hive:Hadoop 上的 SQL 数仓工具,元数据存 Metastore,查询转为 MR/Tez/Spark 作业
- Hive 优化:分区裁剪、分桶、ORC/Parquet 列式存储
- Spark:内存计算引擎,RDD/DataFrame,惰性求值、DAG 划分 Stage、支持缓存
- 框架定位:HDFS 存储、Hive 离线数仓、Spark 批处理与微批流、Flink 实时流、Kafka 消息
- 结合 ETL、离线报表等场景讲实际用法
易错点
- 把 Hive 当成数据库,认为它适合低延迟点查
- 认为 Spark 只在内存中计算、不会落盘,其实 Shuffle 和内存不足时都会写磁盘
- Hive 查询不带分区条件,导致全表扫描
面试官常见追问
- 数据倾斜怎么处理?
- Spark 的宽依赖和窄依赖是什么?
- Spark Streaming 和 Flink 有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。