大表 Join 数据倾斜如何用加盐打散热点 Key
哪些公司问过
答案要点
- 先定位:对 join key 计数或采样找出热点 key,结合 Spark UI 确认倾斜的 stage 和 task
- 倾斜侧 A 表热点 key 拼 0 到 N-1 随机后缀,打散到 N 个 task
- 另一侧 B 表对应 key 复制 N 份、分别拼上全部后缀,保证都能匹配,join 后去掉后缀
- 只处理热点 key:热点和非热点分开 join 再 union,避免全表膨胀;N 需权衡并行度和膨胀
- 替代方案:小表广播 join、过滤无效 key(如空值)、Spark 3 AQE 倾斜 join 自动拆分
易错点
- 只给 A 表加盐,B 表不扩容,导致关联不上丢数据
- 对全表加盐,B 表整体膨胀 N 倍,资源消耗反而更大
- 把聚合倾斜的两阶段加盐套到 join 上:聚合是局部聚合再全局聚合,join 必须对另一侧扩容
面试官常见追问
- 怎么在 Spark UI 定位异常 task?
- 多处 Join 且执行计划和原 SQL 对不上,怎么定位是哪个 Join 倾斜?
- A 表 id 加了后缀,B 表没后缀匹配不上,怎么处理?
- A、B 各拆十份、小份之间 Join 怎么实现?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。