Spark 的内存管理机制
哪些公司问过
华勤1
答案要点
- 1.6 起采用统一内存管理,堆内先预留 300MB
- spark.memory.fraction 默认 0.6 划出统一内存区,其余为用户内存
- 统一内存分执行内存和存储内存,storageFraction 默认 0.5
- 执行可驱逐超出保护区的存储内存,存储不能驱逐执行内存
- 可开启堆外内存减少 GC,容器部署需配置 memoryOverhead
易错点
- 以为执行内存和存储内存是固定比例不可借用
- 只调大 executor 内存,忽略 memoryOverhead 导致容器被杀
- 大量 cache 数据却不释放,挤占执行内存
面试官常见追问
- 你用的是 Spark SQL 还是 RDD?有什么区别?
- Executor 经常 OOM 怎么排查?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。