Hadoop 的 HDFS 与 MapReduce 原理
哪些公司问过
答案要点
- Hadoop 组成:HDFS 存储、YARN 资源调度、MapReduce 计算
- HDFS 主从架构:NameNode 管元数据,DataNode 存数据块,块默认 128MB、3 副本
- 读写时客户端从 NameNode 获取块位置,再直连 DataNode 传输数据
- MapReduce 流程:Map、Shuffle(分区、排序、拉取)、Reduce,可加 Combiner 减少传输
- 数据本地性:计算移动到数据所在节点;HDFS 不适合海量小文件
易错点
- 把 Secondary NameNode 当成 NameNode 的热备
- 说 HDFS 块大小固定为 64MB,那是 Hadoop 1 的默认值
- 忽略 Shuffle 阶段,它通常是 MapReduce 中开销最大的部分
面试官常见追问
- NameNode 单点问题怎么解决?
- 为什么 HDFS 不适合小文件?
- MapReduce 和 Spark 的区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。