面试题库 › Java 后端 › Spark任务执行缓慢如何排查与优化

Spark任务执行缓慢如何排查与优化

难度 ★★☆在 1 场真实面经中被问到 方向:Java 后端考点:大数据组件

哪些公司问过

Shopee1

常见岗位:软件开发

答案要点

  1. 先用Spark UI定位慢Stage,看task耗时分布、Shuffle数据量、spill和GC时间
  2. 数据倾斜:过滤空key、广播小表、热点key加盐后二次聚合、启用AQE倾斜join
  3. 并行度:调整spark.sql.shuffle.partitions(默认200)、repartition或coalesce、合并小文件
  4. 资源:合理配置executor的内存、核数和数量,减少spill和GC
  5. 代码:减少shuffle,列式存储配合谓词下推和分区裁剪,复用数据cache,少用UDF

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题