集群规划

在这里插入图片描述

关闭防火墙

时间同步

安装ntp

	yum install ntp

网上查找最新的时间服务器，如ntp1.aliyun.com,在所有节点时间同步

	ntpdate ntp1.aliyun.com

修改hosts文件

vim /etc/hosts
192.168.80.131 node01
192.168.80.132 node02
192.168.80.133 node03
192.168.80.134 node04

配置免密登录

所有节点执行  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

node01->node01 node01->node02 node01->node03 node01->node04
node02->node01
在node02节点执行，将node01的公钥加入到其他节点的白名单中 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

所有节点配置JDK

卸载旧有jdk

	rpm -qa|grep java
	rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
	rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
	rpm -e --nodeps tzdata-java-2013g-1.el6.noarch

配置新jdk

	#vi /etc/profile 加入如下内容：
	export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
	export PATH=$PATH:$JAVA_HOME/bin

配置hadoop

修改hdfs-site.xml配置文件

	<property>
	 		    <name>dfs.nameservices</name>
	 		    <value>mycluster</value>
	</property>
	<property>
	  <name>dfs.ha.namenodes.mycluster</name>
	  <value>nn1,nn2</value>
	</property>
	<property>
	  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
	  <value>node01:8020</value>
	</property>
	<property>
	  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
	  <value>node02:8020</value>
	</property>
	<property>
	  <name>dfs.namenode.http-address.mycluster.nn1</name>
	  <value>node01:50070</value>
	</property>
	<property>
	  <name>dfs.namenode.http-address.mycluster.nn2</name>
	  <value>node02:50070</value>
	</property>
	<property>
	  <name>dfs.namenode.shared.edits.dir</name>
	  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
	</property>
	<property>
	  <name>dfs.journalnode.edits.dir</name>
	  <value>/var/sxt/hadoop/ha/jn</value>
	</property>
	<property>
	  <name>dfs.client.failover.proxy.provider.mycluster</name>  	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<property>
	  <name>dfs.ha.fencing.methods</name>
	  <value>sshfence</value>
	</property>
	<property>
	  <name>dfs.ha.fencing.ssh.private-key-files</name>
	  <value>/root/.ssh/id_rsa</value>
	</property>
	<property>
	   <name>dfs.ha.automatic-failover.enabled</name>
	   <value>true</value>
	 </property>

修改core-site.xml配置文件

	<property>
	   <name>fs.defaultFS</name>
	   <value>hdfs://mycluster</value>
	</property>
	<property>
	   <name>ha.zookeeper.quorum</name>
	   <value>node02:2181,node03:2181,node04:2181</value>
	</property>

修改slaves文件

node01
node02
node03

修改hadoop-env.sh 中的JAVA_HOME=/opt/software/java/jdk1.8.0
将配置好的HDFS安装包拷贝到node02 node03 node04

	scp -r hadoop-2.6.5 root@node02:/opt/software/hadoop/
	scp -r hadoop-2.6.5 root@node03:/opt/software/hadoop/
	scp -r hadoop-2.6.5 root@node04:/opt/software/hadoop/

注意传输后的位置，我的是/opt/software/hadoop/hadoop-2.6.5

搭建zookeeper集群

解压zookeeper-3.4.10
以我为例，解压到了/opt/software/hadoop，跟/opt/software/hadoop/hadoop-2.6.5在同级目录
修改conf目录下的zoo_sample.cfg

	#解压后，进入conf目录内，将zoo_sample.cfg重命名，改为zoo.cfg
	mv zoo_sample.cfg zoo.cfg
	#修改zoo.cfg
	dataDir=/var/zfg/zookeeper
	server.1=node02:2888:3888
	server.2=node03:2888:3888
	server.3=node04:2888:3888

在dataDir目录下创建一个myid文件，在这个文件中写上当前节点ID号
比如我这里在node02节点上是ID号是1
将配置好的zookeeper安装包拷贝到node03 node04
拷贝完毕后，在各自节点上创建myid号，ID号要依次递增

添加环境变量

 export PATH=$PATH:/opt/software/hadoop/zookeeper-3.4.10/bin

启动node2、node3、node4节点上的zookeeper
```
 ./zkServer.sh start
```

格式化

启动 journalnode
在node01、node02、node03分别执行如下命令在node01、node02、node03分别执行如下命令
```
 hadoop-daemon.sh start journalnode
```
随机选择一台NameNode执行，我这里在node01节点即NameNode1上执行
```
hdfs namenode -format
hadoop-daemon.sh start namenode
```
另外一台NameNode节点执行
```
 hdfs namenode  -bootstrapStandby
```
启动zkfc服务
```
  hdfs zkfc -formatZK
```
关闭所有节点上的进程
```
 stop-dfs.sh
```
启动HDFS
```
 start-dfs.sh
```

验证HA故障自动切换

可以看到NameNode1和NameNode2现在分别为active和standby状态
在这里插入图片描述

在NameNode1所在的node01节点上，kill掉NameNode1进程

再查看两个NameNode2状态，可以看到已转为active状态

需要注意的问题

要先启动zookeeper服务再进行NameNode初始化。
如果最后启动的节点不全或者datanode启动后马上自动关闭。需要删除/tmp目录下的hadoop-root临时文件和dfs.journalnode.edits.dir配置的目录文件，比如我这里是
```
 <property>
 	  <name>dfs.journalnode.edits.dir</name>
 	  <value>/var/sxt/hadoop/ha/jn</value>
 </property>
```

那就删除var目录下的指定目录（以我为例，是sxt目录）。然后重新搭建格式化NameNode。

HDFS高可用完全分布式搭建

目录