HiveSQL 常见优化手段
哪些公司问过
佳都1
答案要点
- 分区裁剪与列裁剪,使用 ORC/Parquet 列式存储加压缩,配合谓词下推减少扫描量
- 大表 join 小表开启 MapJoin;大表 join 大表可按关联键分桶做分桶 join
- 开启 Map 端预聚合,count(distinct) 改写为先 group by 再 count
- 调整 Map 切片和 Reduce 数量,开启并行执行、小文件合并、向量化执行
- 使用 Tez 或 Spark 引擎,并用 explain 查看执行计划验证优化效果
易错点
- 分区表查询不带分区条件导致全表扫描
- 以为增加 Reduce 数量就能解决所有慢查询,忽视单 key 倾斜
- 在 join 后再过滤,而不是先过滤再 join
面试官常见追问
- 小文件过多有什么问题,怎么处理?
- 为什么 count(distinct) 容易慢?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。