面试题库 › C++ / 后端 › Spark AQE(自适应查询执行)的主要作用

Spark AQE(自适应查询执行)的主要作用

难度 ★★☆在 1 场真实面经中被问到 方向:C++ / 后端考点:大数据组件

哪些公司问过

快手1

答案要点

  1. 原理:在 shuffle 阶段边界收集实际运行统计,重新优化后续计划,Spark 3.0 引入、3.2 起默认开启
  2. 合并 shuffle 后的小分区,按目标分区大小合并相邻小分区,减少小任务和小文件
  3. 动态把 SortMergeJoin 转为广播 join,并可用本地 shuffle 读取降低网络开销
  4. 倾斜 join 优化:分区大小超过中位数一定倍数且超过阈值时拆分,另一侧对应分区复制后 join
  5. 合并只能在初始分区数基础上减少,初始分区数要设得足够大

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题