面试题库 › C++ / 后端 › Hadoop 的 HDFS 与 MapReduce 原理

Hadoop 的 HDFS 与 MapReduce 原理

难度 ★★☆在 4 场真实面经中被问到 方向:C++ / 后端考点:大数据组件

哪些公司问过

腾讯1美团1快手1360公司1

常见岗位:推理部署与加速、推荐搜索广告、C++ 后端、C/C++ 软件开发

答案要点

  1. Hadoop 组成:HDFS 存储、YARN 资源调度、MapReduce 计算
  2. HDFS 主从架构:NameNode 管元数据,DataNode 存数据块,块默认 128MB、3 副本
  3. 读写时客户端从 NameNode 获取块位置,再直连 DataNode 传输数据
  4. MapReduce 流程:Map、Shuffle(分区、排序、拉取)、Reduce,可加 Combiner 减少传输
  5. 数据本地性:计算移动到数据所在节点;HDFS 不适合海量小文件

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题