Spark AQE(自适应查询执行)的主要作用
哪些公司问过
答案要点
- 原理:在 shuffle 阶段边界收集实际运行统计,重新优化后续计划,Spark 3.0 引入、3.2 起默认开启
- 合并 shuffle 后的小分区,按目标分区大小合并相邻小分区,减少小任务和小文件
- 动态把 SortMergeJoin 转为广播 join,并可用本地 shuffle 读取降低网络开销
- 倾斜 join 优化:分区大小超过中位数一定倍数且超过阈值时拆分,另一侧对应分区复制后 join
- 合并只能在初始分区数基础上减少,初始分区数要设得足够大
易错点
- 以为 AQE 能优化所有阶段:它在 shuffle 边界才重新规划,没有 shuffle 的读取阶段不受影响
- 开了 AQE 就不管初始分区数:初始值太小时它无法提升并行度
- 以为 AQE 能解决所有倾斜,聚合倾斜和轻度倾斜仍需手动处理
面试官常见追问
- 自己设置分区数比 AQE 自动设置性能更高,高在哪?
- AQE 为什么能把 SortMergeJoin 改成广播?
- AQE 的倾斜优化能处理所有倾斜吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。