HDFS+zookeeper高可用QJM安装方案 hadoop3.0.3

安装

准备JDK

把下载好的jdk解压到/usr/java下,最好是

export JAVA_HOME=/usr/java/jdk1.8.0_121/
export PATH=$PATH:$JAVA_HOME/bin

执行 java -version 看看jdk是不是安装成功

把主机名和ip写入hosts,每台主机上都执行

	echo "192.168.0.18 test-18" >> /etc/hosts
	echo "192.168.0.15 test-15" >> /etc/hosts
	echo "192.168.0.16 test-16" >> /etc/hosts

ping 一下主机名，顺便测试一下联通性

免密ssh登录

在第一台主机上执行

		ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
		cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

其余的机器上执行

	 使用scp命令把第一台机器上.ssh目录下id_dsa和authorized_keys拷贝到本地的.ssh目录下
	 注意，文件的权限：.ssh 700  id_dsa 444  authorized_keys 644

测试主机之间的免密ssh登录，注意两两之间都应该能免密登录

安装Zookeepr

https://www.w3cschool.cn/zookeeper/zookeeper_installation.html

设计你的hdfs集群

   test-15 NameNode journalnode datanode
   test-16 NameNode journalnode datanode
   test-18 journalnode datenode datanode

修改配置文件，如果需要精确修改请参考官方文档，这里的目的就是基础设置

hdfs-site.xml

<configuration>
	<property>  
      	<name>dfs.nameservices</name> 
      	<!--命名空间的逻辑名称-->
      	<value>mycluster</value>  
    </property>
    <property>  
  	   	<name>dfs.ha.namenodes.mycluster</name>
  	   	<!--命名空间中namenodes的id-->
  		<value>nn1,nn2</value>  
	</property>
	<property>  
      	<name>dfs.namenode.rpc-address.mycluster.nn1</name> 
      	<!--每个namenode监听的RPC地址-->
      	<value>test-15:8020</value>  
    </property>  
    <property>  
      	<name>dfs.namenode.rpc-address.mycluster.nn2</name> 
      	<!--每个namenode监听的RPC地址-->
      	<value>test-16:8020</value>  
    </property>
    <property>  
  		<name>dfs.namenode.http-address.mycluster.nn1</name>
  		<!--每个namenode监听的http地址-->
  		<value>test-15:50070</value>  
	</property>  
	<property>  
  		<name>dfs.namenode.http-address.mycluster.nn2</name> 
  		<!--每个namenode监听的http地址-->
  		<value>test-16:50070</value>  
	</property>
	<property>  
  		<name>dfs.namenode.shared.edits.dir</name>
  		<!--这是NameNode读写JNs组的uri-->
  		<value>qjournal://test-15:8485;test-16:8485;test-18:8485/mycluster</value>  
	</property>
	<property>  
  		<name>dfs.client.failover.proxy.provider.mycluster</name>
  		<!--这里配置HDFS客户端连接到Active NameNode的一个java类-->  
  		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  
	</property>
	<property>  
	  	<name>dfs.ha.fencing.methods</name>
	  	<!--dfs.ha.fencing.methods配置active namenode出错时的处理类。当active namenode出错时，一般需要关闭该进程。处理方式可以是ssh也可以是shell。 NameNode的一个java类-->   
	  	<value>sshfence</value>  
	</property>
	<property>  
  		<name>dfs.ha.fencing.ssh.private-key-files</name>  
  		<value>/root/.ssh/id_rsa</value>  
	</property>
	<property>  
  		<name>dfs.name.dir</name>  
  		<value>/app/hadoop/namenode</value>  
	</property>
	<property>  
  		<name>dfs.data.dir</name>  
  		<value>/app/hadoop/datanode</value>  
	</property>
  <property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
  </property>
</configuration>

core-site.xml

<configuration>
	<property>  
  		<name>fs.defaultFS</name>  
  		<value>hdfs://mycluster</value>  
	</property>
	<property>  
  		<name>dfs.journalnode.edits.dir</name>  
  		<value>/app/hadoop/journal</value>  
	</property>
	<property>  
  		<name>hadoop.tmp.dir</name>  
  		<value>/app/hadoop/tmp</value>  
	</property>
	<property>  
  		<name>ha.zookeeper.quorum</name>  
  		<value>192.168.0.15:2181,192.168.0.16:2181,182.168.0.18:2181</value>  
	</property>
</configuration>

etc下穿件salves文件，内容是datanode的主机名或者IP，一行一个

启动

   (1)journalnode 节点上执行
   	hadoop/sbin/hadoop-daemon.sh start journalnode
    使用jps 能看到 JournalNode
   （2）在第一个namenode上格式化namenode，格式化zk，启动namenode
     .bin/hdfs namenode -format
     ./bin/hdfs zkfc -formatZK
     ./sbin/hadoop-daemon.sh start namenode 
     ./hdfs start zkfc 
     jps 命令可以看到 NameNode DFSZKFailoverController
    (3)在第二个namenode上，同步数据，启动第二个namenode
    ./bin/hdfs namenode -bootstrapStandby
    ./sbin/hadoop-daemon.sh start namenode
    ./hdfs start zkfc
     jps 会发现有namenode DFSZKFailoverController
    (4)所有datanode上启动 datanode
    	./sbin/hadoop-daemon.sh start datanode
    	jps 会发现有datanode

测试

访问页面

http://192.168.0.15:50070/，查看集群状态

最后一步

export JAVA_HOME=/usr/java/jdk1.8.0_121/
export PATH=$PATH:$JAVA_HOME/bin
export HDFS_NAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_DATANODE_USER=root
export HADOOP_CONF_DIR=/app/hadoop/etc/hadoop

添加以上变量到你的用户的家目录的.bashrc文件中，注意不要放到profile下，否则关闭和启动脚本会保存

-----------------------------------------------------------------------------------------------------------------

要是有什么问题或者纠正错误请进qq群630300475