Spark 的核心概念与运行架构
哪些公司问过
答案要点
- 核心抽象:RDD,以及带结构信息、可优化的 DataFrame 和 Dataset
- 惰性求值:转换只记录血缘,行动操作才触发计算
- DAG 调度,宽依赖产生 shuffle,并据此划分 Stage
- 架构:Driver 调度,Executor 执行,Cluster Manager 管资源
- 对比 MapReduce:中间结果放内存,适合迭代计算;Flink 是原生流处理
易错点
- 说 Spark 全部基于内存,不提落盘
- 分不清转换和行动操作
- 说不出 Stage 是按宽依赖划分的
面试官常见追问
- Spark 有哪些 join 类型和策略?
- 宽依赖和窄依赖的区别?
- 数据倾斜怎么处理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。