Hive 数据倾斜的成因、处理与预防
答案要点
- 数据倾斜指少数 key 数据量过大,集中到个别 Reduce,表现为任务卡在 99% 或 OOM
- 常见原因:热点 key、join 键大量空值、关联键类型不一致、count distinct 单 Reduce
- 小表关联用 MapJoin;空值 key 过滤或拼随机数打散
- group by 倾斜用 hive.groupby.skewindata 或加盐两阶段聚合;join 倾斜可用 skewjoin 或拆分热点 key 后 union
- 预防:提前抽样分析 key 分布,治理空值脏数据,统一关联键类型
易错点
- 单纯增加 Reduce 数量,无法解决单个 key 过大的倾斜
- 给空值加随机数后忘记它们本来就关联不上,导致语义错误
- 两阶段聚合时第二阶段忘记去掉随机前缀
面试官常见追问
- 怎么判断任务发生了数据倾斜?
- hive.groupby.skewindata 的原理是什么?
- 加盐打散有什么代价?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。