常见大数据组件及其原理
哪些公司问过
腾讯1华勤1
答案要点
- 存储:HDFS 分块多副本,NameNode 管元数据;HBase 支持随机读写
- 离线计算:MapReduce 中间结果落盘;Spark 基于内存和 DAG,适合迭代
- 实时计算:Flink 原生流处理,事件时间和精确一次
- Kafka 用分区和顺序写实现高吞吐;Hive 把 SQL 转成计算任务,ClickHouse 列式分析;YARN 调度资源
- 离线追求吞吐、按批运行,实时追求低延迟;结合项目说明用过的组件
易错点
- 只罗列组件名称,说不出原理
- 分不清离线和实时的适用场景
- 不结合项目说明解决了什么问题
面试官常见追问
- Kafka 为什么吞吐高?
- Spark 为什么比 MapReduce 快?
- 离线和实时数仓怎么配合?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。