面试题库 › C++ / 后端 › 大表 Join 数据倾斜如何用加盐打散热点 Key

大表 Join 数据倾斜如何用加盐打散热点 Key

难度 ★★★在 1 场真实面经中被问到 方向:C++ / 后端考点:大数据组件

哪些公司问过

快手1

答案要点

  1. 先定位:对 join key 计数或采样找出热点 key,结合 Spark UI 确认倾斜的 stage 和 task
  2. 倾斜侧 A 表热点 key 拼 0 到 N-1 随机后缀,打散到 N 个 task
  3. 另一侧 B 表对应 key 复制 N 份、分别拼上全部后缀,保证都能匹配,join 后去掉后缀
  4. 只处理热点 key:热点和非热点分开 join 再 union,避免全表膨胀;N 需权衡并行度和膨胀
  5. 替代方案:小表广播 join、过滤无效 key(如空值)、Spark 3 AQE 倾斜 join 自动拆分

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题