环境准备和计划：
5台 Centos 7 虚拟机， 规划如下：
| HostName | Softwares | Process | comments |
| kencentos1 | JDK, hadoop | namenode, zkfc (active), resourceManager | namenode 1, resourceManger |
| kencentos2 | JDK, hadoop | namenode, zkfc (active), resourceManager | namenode 2, resourceManger |
| kencentosClient1 | JDK, hadoop,zookeeper | QuorumPeefMain(zookeeper),journnode, datanode,nodeManger | datanode 3 |
| kencentosClient2 | JDK, hadoop,zookeeper | QuorumPeefMain(zookeeper),journnode, datanode,nodeManger | datanode 1 |
| kencentosClient3 | JDK, hadoop,zookeeper | QuorumPeefMain(zookeeper),journnode, datanode,nodeManger | datanode 2 |
Hadoop： 2.8.3，
JDK： 1.8.60
Zookeeper：3.4.9
step1 ：centos 7 准备，这个百度上搜搜很容易装好。
step2： JDK 安装和环境变量设置。百度一下都可以解决。
Step3： 下载Hadoop 和 Zookeeper。去Apache 官方找到下载的地方。
Step4：hadoop HA集群配置
这一步需要在 dfs.journalnode.edits.dir 指定的地方建相对应的空文件夹。
core-site.xml:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/data</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://kenns</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>kencentosClient1:2181,kencentosClient3:2181,kencentosClient2:2181</value>
</property>
</configuration>
hdfs-site.xml:
这一步需要在hadoop.tmp.dir指定的地方建相对应的空文件夹。
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.block.size</name>
<value>64M</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>kenns</value>
</property>
<property>
<name>dfs.ha.namenodes.kenns</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.kenns.nn1</name>
<value>kencentos1:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.kenns.nn1</name>
<value>kencentos1:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.kenns.nn2</name>
<value>kencentos2:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.kenns.nn2</name>
<value>kencentos2:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://kencentosClient1:8485;kencentosClient2:8485;kencentosClient3:8485/kenns</value>
</property>
<!-- JournalNode data location -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/hadoop/journal</value>
</property>
<!-- name node fail over -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- fail over way -->
<property>
<name>dfs.client.failover.proxy.provider.kenns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml:
<configuration>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- RM name -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- RM address -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>kencentos1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>kencentos2</value>
</property>
<!-- ZK cluster -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>kencentosClient1:2181,kencentosClient2:2181,kencentosClient3:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
slaves:
kencentosClient3
kencentosClient2
kencentosClient1
Step 5: 配置SSH 免密登陆，各个机器之间。这个可以百度一下，要保证各个节点之间都要能连上。
Step6：将配置好的hadoop copy到其它节点。
scp -r
step7：启动zookeeper集群
分别在kencentosClient1，kencentosClient2， kencentosClient3 机器上执行启动指令：./zkServer.sh start 查看zookeeper状态：./zkServer.sh status， 正确的状态是一个leader，两个follower。
这里如果没有这只zookeeper 的home，请在zookeeper 的bin 下面执行。
step 8: 启动journalnode
分别在kencentosClient1，kencentosClient2，kencentosClient3机器上执行启动指令：sbin/hadoop-daemon.sh start journalnode。 启动成功后会多出一个JournalNode进程。
step9：格式化namenode
选取一个namenode 节点，执行：hdfs namenode -format
Step10：格式化zkfc
在格式化的namenode上执行格式化指令： hdfs zkfc -formatZK
格式化成功后会在zookeeper集群建立新的文件路径（该路径下存放zkfc监控namenode节点的信息）
step11：启动格式化过的namenode：
hadoop-daemon.sh start namenode
Step 12： 在另外一个namenode上执行下面的命令，此步骤是copy格式化好的配置到另外一个节点上。
hdfs namenode -bootstrapStandby
Step13： 启动集群。
完成上面的步骤，就可以stop namenode或者不停也可以。执行下面的命令在namenode 上：
./start-dfs.sh
然后：
./start-yarn.sh.
可以用各自的namenode：50070 去查看是否都已经成功启动了。