数仓 DWD 事实表与维度表大表 Join 的处理
哪些公司问过
乐享元游1
答案要点
- 维度表小时首选 map join 或广播 join,把小表加载到内存,省掉 shuffle
- 大表 join 前先做分区裁剪、列裁剪和提前过滤,减少参与 shuffle 的数据量
- 两张大表长期按同一 key 关联时,可按 join key 分桶排序,走 bucket map join 或 SMB join
- 倾斜处理:空 key 拆出或随机打散,热点 key 加盐扩容维表,或单独处理后 union
- Hive 有倾斜 join 参数,Spark 3 可用 AQE 自动拆分倾斜分区
易错点
- 没先确认维度表大小就直接走 shuffle join,浪费资源
- 空值 key 参与 join,导致大量数据集中到同一个 reduce
- 盲目调大广播阈值,导致内存溢出
面试官常见追问
- 怎么判断发生了数据倾斜?
- 加盐打散的具体做法是什么?
- map join 小表太大会怎样?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。