reduceByKey 与 groupByKey 的区别
哪些公司问过
Ppio1
答案要点
- 二者都会 shuffle,关键区别是 map 端预聚合
- reduceByKey 先分区内合并,减少 shuffle 数据量
- groupByKey 原样 shuffle 并收集所有 value,易 OOM
- 可分步合并的聚合优先 reduceByKey 或 aggregateByKey
- 确实需要全部 value 时才用 groupByKey
易错点
- 以为 reduceByKey 不会产生 shuffle
- 用 groupByKey 后再求和,浪费网络和内存
- reduceByKey 传入非结合的函数,结果错误
面试官常见追问
- aggregateByKey 和 reduceByKey 有什么不同?
- groupByKey 导致数据倾斜怎么办?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。