面试题库 › Java 后端 › Spark 的宽依赖与窄依赖

Spark 的宽依赖与窄依赖

难度 ★★☆在 2 场真实面经中被问到 方向:Java 后端考点:大数据组件

哪些公司问过

美团2

答案要点

  1. 窄依赖:父分区最多被一个子分区使用,如 map、filter、union、同分区的 join
  2. 宽依赖:父分区被多个子分区使用,如 groupByKey、reduceByKey,需要 Shuffle
  3. 窄依赖在同一 Stage 内流水线执行;宽依赖是 Stage 划分的边界
  4. 宽依赖有磁盘 IO 和网络开销,是性能瓶颈
  5. 容错:窄依赖只重算丢失的父分区,宽依赖可能涉及多个父分区

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题