Hadoop组成

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/m0_37294838/article/details/89979701

HDFS架构概述

HDFS（Hadoop Distributed File System）的架构概述

          1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等

          2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。

          3）Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

 

YARN架构概述

 

MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce

    1）Map阶段并行处理输入数据

    2）Reduce阶段对Map结果进行汇总