HA架构
在hadoop2.0版本之前，NameNode是存在单点故障的，因为他只有一个NameNode，这样，如果一个NameNode挂掉之后，整个集群是不可用状态的，因为NameNode存的是整个文件系统的源数据信息。因此，在2.0版本开始，Hadoop HDFS采用ha高可用的方案，就是我们同时有多个NameNode运行，一个作为活动的NameNode，其他的作为备用的NameNode，活动的NameNode。
图文解释
比如NN1活动的NameNode，它负责修改所有的名字空间以及删除备份数据块的操作，名字空间就是文件的目录树。而备份的NameNode，NN2执行操作，同步操作包括所有对命名空间以及数据块的删除操作的信息备份，保证NN1和NN2看见的整个文件系统的视图是一致的，那这样，当NN1发生故障之后，NN2可以保证正确的文件系统去操作。为了保证他俩之前相互通讯，我们运行了一组独立的Journaleode节点，NameNode要和所有的Journaleode通讯，将所有的修改信息存到Journaleode里面去，HDFS将执行的操作记录在编辑的日志里面并且将这个日志写到Journaleode里面去。非活动的NameNode一直监听js活动的变化，当它检测到有变化之后，它将变化的信息和自己本地存储的信息进行合并，那这样就可以看到最新的文件系统的状态和构架。
配置文件解析
core-site.xml
新配置了defaultFS，默认的FS是哪一个，有可能有多个集群，default操作默认的集群所对应的HDFS。
ha.zookeeper.quorumapp-11:2181,app-12:2181,app-13:2181
这个配置选项是关于ZooKeeper的，Hadoop做ha相当于客户端，那么就需要配置客户端的端口号以及整个ZooKeeper集群的所有的服务器，这里是配置了三台服务器。
hadoop.tmp.dir/hadoop/Hadoop/hadoop-3.1.2/tmp
配置了hadoop的tmp.dir，将所有的信息都限制在hadoop-3.1.2安装包的根目录下。
hdfs-site.xml
定义命名空间为dmcluster，在访问的时候通过hdfs://dmcluster加集群目录名称。
dfs.namenode.name.dir/hadoop/Hadoop/hadoop-3.1.2/hdfs/name
namenode.name.dir存储的是name相关的一些信息包括data等。
dfs.ha.namenodes.dmclusternn1,nn2
在namenodes的servers里包括nn1和nn2，就是有两个namenode 。
journal://app-11:8485;app-12:8485;app-13:8485/dmcluster
定义journalnode的节点。
workers
在worker中写入三台机器的名称，IP地址也可以。
hadoop-env.sh
在hadoop-env.sh配置文件中增加JAVA_HOME和HADOOP_HOME这两个环境变量。并且将logs放到HADOOP目录下。这样，整个运行环境不依赖于hadoop-3.1.2目录之外的任何目录。
安装过程
- ALL: hdfs --daemon start journalnode在所有的journalnode上启动守护进程
- app-11: hdfs namenode –format将文件的初始化信息写入journalnode里面去
- ALL: hdfs --daemon stop journalnode关闭所有的守护进程
- app-11: hdfs zkfc -formatZK –forceZookeeperfc的初始化工作，初始化zookeeper的节点
- app-11: start-dfs.sh启动所有的集群，dfs集群也包括了journalnode
- app-12: hdfs namenode –bootstrapStandby在其他机器上面，将写入journalnode的文件信息同步过来，其他的节点信息自动监控
- app-11: stop-dfs.sh &&start-all.sh关闭dfs集群，通过start-all.sh启动集群，这不仅仅包括dfs集群，还包括yarn集群。
详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰
