数据倾斜是什么及常见产生场景
哪些公司问过
网易1联友科技1
答案要点
- 数据按 key 分布不均,少数任务处理过多数据,形成长尾或 OOM
- 主要发生在 shuffle 阶段,可从任务耗时和数据量差异发现
- 热点 key 的 group by 聚合、count distinct 易产生倾斜
- join 时空值或默认值集中、关联键分布不均是典型原因
- 解决方法:过滤空值、小表广播、加盐两阶段聚合、开启自适应执行
易错点
- 盲目调大并行度,热 key 依然落在同一分区
- 忽略空值和默认值造成的倾斜
- join 加盐时只给一侧加前缀,导致关联结果错误
面试官常见追问
- 加盐打散具体怎么实现?
- 怎么定位是哪个 key 倾斜?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。