面试题库 › C++ / 后端 › 数据倾斜是什么及常见产生场景

数据倾斜是什么及常见产生场景

难度 ★★☆在 2 场真实面经中被问到 方向:C++ / 后端考点:大数据组件

哪些公司问过

网易1联友科技1

答案要点

  1. 数据按 key 分布不均,少数任务处理过多数据,形成长尾或 OOM
  2. 主要发生在 shuffle 阶段,可从任务耗时和数据量差异发现
  3. 热点 key 的 group by 聚合、count distinct 易产生倾斜
  4. join 时空值或默认值集中、关联键分布不均是典型原因
  5. 解决方法:过滤空值、小表广播、加盐两阶段聚合、开启自适应执行

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题