面试题库 › C++ / 后端 › Hive 数据倾斜的成因、处理与预防

Hive 数据倾斜的成因、处理与预防

难度 ★★☆在 1 场真实面经中被问到 方向:C++ / 后端考点:数仓与 OLAP

答案要点

  1. 数据倾斜指少数 key 数据量过大,集中到个别 Reduce,表现为任务卡在 99% 或 OOM
  2. 常见原因:热点 key、join 键大量空值、关联键类型不一致、count distinct 单 Reduce
  3. 小表关联用 MapJoin;空值 key 过滤或拼随机数打散
  4. group by 倾斜用 hive.groupby.skewindata 或加盐两阶段聚合;join 倾斜可用 skewjoin 或拆分热点 key 后 union
  5. 预防:提前抽样分析 key 分布,治理空值脏数据,统一关联键类型

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题