面试题库 › C++ / 后端 › Spark Shuffle 的原理与触发条件

Spark Shuffle 的原理与触发条件

难度 ★★★在 2 场真实面经中被问到 方向:C++ / 后端考点:大数据组件

哪些公司问过

BOSS直聘1多益网络1

常见岗位:软件开发

答案要点

  1. Shuffle:按分区规则(通常按 key)跨分区重新分发数据,出现在宽依赖处,也是 Stage 的切分点
  2. 触发操作:groupByKey、reduceByKey、distinct、repartition、分区方式不同的 join
  3. 写阶段:map 端按目标分区排序写本地磁盘,SortShuffle 每个 task 产出数据文件加索引
  4. 读阶段:下游 task 按分区远程拉取数据,再聚合或合并
  5. 优化:reduceByKey 预聚合、广播小表、调整分区数、开启 AQE 处理倾斜

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题