面试题库 › 算法 / 大模型 › Spark 的核心概念与运行架构

Spark 的核心概念与运行架构

难度 ★★☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:大数据组件

哪些公司问过

3602腾讯1快手1

常见岗位:人工智能、推理部署与加速、推荐搜索广告、Java 后端

答案要点

  1. 核心抽象:RDD,以及带结构信息、可优化的 DataFrame 和 Dataset
  2. 惰性求值:转换只记录血缘,行动操作才触发计算
  3. DAG 调度,宽依赖产生 shuffle,并据此划分 Stage
  4. 架构:Driver 调度,Executor 执行,Cluster Manager 管资源
  5. 对比 MapReduce:中间结果放内存,适合迭代计算;Flink 是原生流处理

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题