面试题库 › Java 后端 › 数仓 DWD 事实表与维度表大表 Join 的处理

数仓 DWD 事实表与维度表大表 Join 的处理

难度 ★★☆在 1 场真实面经中被问到 方向:Java 后端考点:大数据组件

哪些公司问过

乐享元游1

答案要点

  1. 维度表小时首选 map join 或广播 join,把小表加载到内存,省掉 shuffle
  2. 大表 join 前先做分区裁剪、列裁剪和提前过滤,减少参与 shuffle 的数据量
  3. 两张大表长期按同一 key 关联时,可按 join key 分桶排序,走 bucket map join 或 SMB join
  4. 倾斜处理:空 key 拆出或随机打散,热点 key 加盐扩容维表,或单独处理后 union
  5. Hive 有倾斜 join 参数,Spark 3 可用 AQE 自动拆分倾斜分区

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题