Spark 的启动、作业划分与 Shuffle 流程
哪些公司问过
美团1乐享元游1
答案要点
- 启动:Driver 建 SparkContext,向集群管理器申请,Executor 注册回 Driver
- 行动算子触发 Job,DAGScheduler 按宽依赖切分 Stage
- 每个 Stage 按分区生成 Task,由 TaskScheduler 分发
- Sort Shuffle:map 端排序溢写,每任务一个数据文件加索引文件
- reduce 端按索引拉取本分区数据再聚合
易错点
- 说转换算子就会立刻执行
- 把窄依赖也当成 Stage 边界
- 仍说当前默认是 Hash Shuffle
面试官常见追问
- 为什么要划分 Stage?
- 窄依赖放在同一个 Stage 有什么好处?
- Standalone 和 YARN 模式有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。