Spark 的宽依赖与窄依赖
哪些公司问过
答案要点
- 窄依赖:父分区最多被一个子分区使用,如 map、filter、union、同分区的 join
- 宽依赖:父分区被多个子分区使用,如 groupByKey、reduceByKey,需要 Shuffle
- 窄依赖在同一 Stage 内流水线执行;宽依赖是 Stage 划分的边界
- 宽依赖有磁盘 IO 和网络开销,是性能瓶颈
- 容错:窄依赖只重算丢失的父分区,宽依赖可能涉及多个父分区
易错点
- 说 join 一定是宽依赖
- 说不清宽依赖和 Stage 划分的关系
面试官常见追问
- join 一定是宽依赖吗?
- Stage 是怎么划分的?
- 怎么减少宽依赖的开销?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。