面试题库 › Java 后端 › Spark 的启动、作业划分与 Shuffle 流程

Spark 的启动、作业划分与 Shuffle 流程

难度 ★★★在 2 场真实面经中被问到 方向:Java 后端考点:大数据组件

哪些公司问过

美团1乐享元游1

常见岗位:Java 后端

答案要点

  1. 启动:Driver 建 SparkContext,向集群管理器申请,Executor 注册回 Driver
  2. 行动算子触发 Job,DAGScheduler 按宽依赖切分 Stage
  3. 每个 Stage 按分区生成 Task,由 TaskScheduler 分发
  4. Sort Shuffle:map 端排序溢写,每任务一个数据文件加索引文件
  5. reduce 端按索引拉取本分区数据再聚合

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题