Spark Shuffle 的原理与触发条件
哪些公司问过
答案要点
- Shuffle:按分区规则(通常按 key)跨分区重新分发数据,出现在宽依赖处,也是 Stage 的切分点
- 触发操作:groupByKey、reduceByKey、distinct、repartition、分区方式不同的 join
- 写阶段:map 端按目标分区排序写本地磁盘,SortShuffle 每个 task 产出数据文件加索引
- 读阶段:下游 task 按分区远程拉取数据,再聚合或合并
- 优化:reduceByKey 预聚合、广播小表、调整分区数、开启 AQE 处理倾斜
易错点
- 说 join 一定触发 Shuffle,忽略两边分区器相同或广播 join 的情况
- 只讲概念,不讲 map 端写磁盘、下游拉取的两阶段过程
面试官常见追问
- 为什么 reduceByKey 比 groupByKey 好?
- 数据倾斜怎么处理?
- 窄依赖和宽依赖有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。