Spark任务执行缓慢如何排查与优化
哪些公司问过
答案要点
- 先用Spark UI定位慢Stage,看task耗时分布、Shuffle数据量、spill和GC时间
- 数据倾斜:过滤空key、广播小表、热点key加盐后二次聚合、启用AQE倾斜join
- 并行度:调整spark.sql.shuffle.partitions(默认200)、repartition或coalesce、合并小文件
- 资源:合理配置executor的内存、核数和数量,减少spill和GC
- 代码:减少shuffle,列式存储配合谓词下推和分区裁剪,复用数据cache,少用UDF
易错点
- 一上来就盲目加资源,不先看UI定位瓶颈
- 把coalesce当作增加分区的手段,它主要用于减少分区且默认不触发shuffle
- 加盐打散后忘了去掉盐再做第二次聚合,导致结果错误
面试官常见追问
- 可以排查到具体是哪张表、哪个字段出现问题吗?
- 了解AQE吗?
- 广播join适合什么场景?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。