Hive 中数据表如何合并
答案要点
- 纵向合并:结构相同的表用 union all,去重用 union,字段个数、顺序、类型需对齐
- 横向合并:按主键用 join 拼接字段,注意选择 join 类型并处理空值
- 增量合并:旧全量 union all 增量,用 row_number 按主键取最新一条,写入新分区
- 开启事务的 Hive 表可以使用 merge into 实现更新与插入
- 小文件合并可通过合并参数、insert overwrite 重写分区或 ORC 的 concatenate 实现
易错点
- union all 时各表字段顺序不一致,导致列错位
- 增量合并只 union 不按主键去重,出现同一主键多条记录
- 不分清是表数据合并还是小文件合并就回答
面试官常见追问
- union 和 union all 有什么区别?
- 为什么 Hive 传统上不直接用 update 做增量合并?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。