hadoop2.7x高可用部署方案（+zookeeper）

其他 2018-11-30 16:48:48 阅读次数: 0

hadoop高可用的部署，需要有2个namenode，一个是active的，一个是standby的，两个namenode需要有一个管理员来管理，来决定决定谁active，谁standby，如果处于active状态的的namenode坏了，立即启动standby状态的namenode。这个管理员就是zookeeper。

主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode。

既然是高可用，那么，只有一个管理员zookeeper也不行，万一这个管理员坏了呢。所以要配一个zookeeper集群。同样只有一个JournalNode也不行，要配置多个JournalNode。

---------------------------------------------------------------------------------------------------------------------------------------------------------

集群规划，如下：
主机名       ip                        要安装的软件    和     部署好后运行的进程。
master01  192.168.231.1    jdk、hadoop、hadoopNameNode、DFSZKFailoverController(zkfc)、ResourceManager
master02  192.168.231.2    jdk、hadoop、hadoopNameNode、DFSZKFailoverController(zkfc)、ResourceManager
slave01    192.168.231.3     jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
slave02    192.168.231.4    jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
slave03    192.168.231.5    jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain

=============1，zookeeper的安装========================

1.1，下载

下载地址就不提供了，时间久了会失效，网上很多，我下载的是zookeeper-3.4.5.tar.gz

1.2，上传到linux虚拟机中解压

我将其解压到/usr/local/下，生成zookeeper-3.4.5这样一个目录

扫描二维码关注公众号，回复： 4304803 查看本文章

1.3，添加环境变量

vim /etc/profile

在末尾添加：

export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.5

export PATH=$ZOOKEEPER_HOME/bin:$PATH

1.4，修改配置

cd $ZKHOME/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=$ZKHOME/tmp
在最后添加：
server.1=slave01:2888:3888
server.2=slave02:2888:3888
server.3=slave03:2888:3888
保存退出

再在dataDir设置的位置创建一个空文件myid
touch dataDir/myid
最后向该文件写入ID
echo 1 > $ZKHOME/tmp/myid
1.3将配置好的zookeeper拷贝到其他节点
scp -r $ZKHOME slave02:~
scp -r $ZKHOME slave03:~

注意：修改slave02、slave03对应dataDir设置的位置/tmp/myid内容
slave02：
echo 2 > dataDir设置的位置/myid
slave03：
echo 3 > dataDir设置的位置/myid

=========zookeeper安装配置完毕。=======================

可以用#zkServer.sh start来启动zookeeper了，

然后用#zkServer.sh status来查看三个zookeeper   server上，哪个是leader，哪两个是follower。

==========2，hadoop的安装===================================

2.1，下载，上传到虚拟机，解压

百度搜索hadoop-2.7.3.tar.gz可以下载。这个是适用于64位的系统，忘了是2.x之后开始，官方提供的tar.gz都是64位的。

如果你的虚拟机是32位，那么要自己下载hadoop-2.7.3.src.tar.gz源代码自己编译，编译是个麻烦的过程，本文暂不讨论。

我的解压位置是/home/下。

2.2，添加环境变量

vim /etc/profile

末尾添加：

export HADOOP_HOME=/home/hadoop-2.7.3

export PATH=$PATH:$HADOOP_HOME/bin

2.3修改配置文件(重点)

hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
#cd $HADOOP_HOME/etc/hadoop

2.3.1修改hadoop-env.sh
export JAVA_HOME=$JAVA_HOME

2.3.2修改core-site.xml(其他property不改)

<configuration>
<!-- 指定hdfs的nameservice为.. -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop-2.7.3/tmp</value>
</property>

<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>clone10:2181,clone11:2181,clone12:2181</value>
</property>

</configuration>

2.3.3修改hdfs-site.xml(其他property不改)

<configuration>
<!--指定hdfs的nameservice为...，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hostaa:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>hostaa:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hostbb:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hostbb:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://clone10:8485;clone11:8485;clone12:8485/mycluster</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop-2.7.3/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/tanjun001/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

2.3.4修改mapred-site.xml

<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

2.3.5修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 开启RM高可用 -->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>hostaa</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>hostbb</value>
</property>
<!-- 启用RM重启的功能-->
        <property>  
                <name>yarn.resourcemanager.recovery.enabled</name>  
                <value>true</value> 
                <description>启用RM重启的功能，默认为false</description>
        </property> 
        <property>  
                <name>yarn.resourcemanager.store.class</name>  
                <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
                <description>用于状态存储的类，采用ZK存储状态类</description>
        </property> 

<!-- 指定zk集群地址 -->
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>clone10:2181,clone11:2181,clone12:2181</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hostaa:8001</value>
        <description>提供给web页面访问的地址，可以查看任务状况等信息</description>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hostbb:8001</value>
        <description>提供给web页面访问的地址，可以查看任务状况等信息</description>
</property>
<!-- 配置通讯的地址和端口，有多少个RM就配置多少组property -->
        <!-- RM1-->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>hostaa:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>hostaa:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>hostaa:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>hostaa:8033</value>
    </property>
        <!-- RM2 -->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>hostbb:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>hostbb:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>hostbb:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>hostbb:8033</value>
    </property>
</configuration>


2.3.6修改slaves文件，添加如下内容，作用是指定hadoop的datanode节点。
slave01
slave02
slave03

*注：由配置可以看出，hadoop节点之间是要相互通信的。所以要在各节点之间配置ssh免密登陆。

===================hadoop安装配置完毕==============================================

--

===================3，启动=========================================================

第一次启动之前要格式化hadoop和zookeeper

3.1，格式化HDFS
在master01上执行命令:
#hdfs namenode -format
格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是$HADOOP_HOME/tmp，然后将$HADOOP_HOME/tmp拷贝到#master02的$HADOOP_HOME下。
#scp -r tmp/ master02:$HADOOP_HOME
也可以这样，建议hdfs namenode -bootstrapStandby
（***好像在执行这句之前要先启动master01的namenode：sbin/hadoop-daemon.sh start namenode ）

3.2,格式化ZKFC(在master01上执行即可)
#hdfs zkfc -formatZK

3.3，启动

在zookeeper的三格节点上执行

#zkServer.sh start启动zookeeper

然后在master01上执行

#start-dfs.sh        --启动分布式文件系统

#start-yarn.sh     --启动分布式计算

启动后各节点上的jps信息如下：

master01：

4961 Jps
4778 DFSZKFailoverController  //zookeeper控制器进程(可以看作监控namenode的状态)
4465 NameNode                        //hdfs的namenode节点进程
4890 ResourceManager            //yarn的resourcemanager节点进程

master02：

2984 DFSZKFailoverController
3059 Jps
2873 NameNode

slaver01，slaver02，slaver03：

5171 NodeManager            //yarn的nodemanager进程
4311 QuorumPeerMain      //zookeeper(选举)进程
4958 DataNode                   //hdfs的datanode进程
5292 Jps                            
5060 JournalNode              //用于主备同步的journalNode进程

如果这几个进程都有的话，那么hadoop就算是运行起来了。其他一些单独启动某个进程的指令


#hdfs dfsadmin -report 查看hdfs的各节点状态信息

#hdfs haadmin -getServiceState nn1 获取一个namenode节点的HA状态

#hadoop-daemon.sh start namenode 单独启动一个namenode进程

#hadoop-daemon.sh start zkfc 单独启动一个zkfc进程

（*如果出现找不到命令的情况，看看环境变量是否配置好了，或者可以直接到hadoop的bin和sbin下调相应命令）

3.4，浏览器访问

到此，hadoop-2.6.2配置完毕，可以通过浏览器访问，查看节点信息:（win10的edge浏览器不行）
http://192.168.231.8:50070
NameNode 'master01:9000' (active)
http://192.168.231.9:50070
NameNode 'master02:9000' (standby)

可通过浏览器访问查看yarn任务信息（resourcemanager运行节点的ip）

http://192.168.231.8:8001(端口号是上面文件中配置的)

===================启动完毕==========================================================

---

==================4，测试============================================================

4.1，测试集群的高可用性

首先向hdfs上传一个文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
然后再kill掉active的NameNode
kill -9 <pid of NN>
通过浏览器访问：http://192.168.231.9:50070
NameNode 'master02:9000' (active)
这个时候master02上的NameNode变成了active
在执行命令：
hadoop fs -ls /
-rw-r--r--  3 root supergroup      1926 2014-02-06 15:36 /profile
刚才上传的文件依然存在！！！
手动启动那个挂掉的NameNode
sbin/hadoop-daemon.sh start namenode
通过浏览器访问：http://192.168.231.8:50070
NameNode 'weekend01:9000' (standby)

---------------------------------

问题：不能完成主备namenode节点之间的自动切换？
查看配置hdfs-site.xml密匙文件位置是否配置正确

---------------------------------------

4.2，验证YARN：
运行一下hadoop提供的demo中的WordCount程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

可以在http://192.168.231.8:8001查看yarn任务的执行信息。还可以看到历史任务。

==========================备注+参考===================================

完成hadoop+zookeeper的安装部署，写起来很简单，中间也出了很多问题，但是你一一克服，也会很满足。

安装过程，参考了很多其他文章，部分列出来了，部分参考文章想不起来了没列出来，还有同事的帮助。

1，Hadoop+HBase+ZooKeeper三者关系与安装配置：

http://edu.dataguru.cn/thread-241488-1-1.html

2，hadoop三个配置文件的参数含义说明：

http://www.iyunv.com/thread-17698-1-1.html

3，hadoop+zookeeper集群高可用搭建

https://www.oschina.net/question/2933406_2212336


猜你喜欢

转载自blog.csdn.net/tanjun592/article/details/72637954
今日推荐
NetBSD 禁止提交由 AI 生成的代码
Apache Doris 2.0.10 版本正式发布！
开源日报 | 大模型开战；大模型独角兽被曝卖身；周鸿祎建议谷歌开源所有产品；最大开源AI社区提供1000万美元共享GPU
开源日报 | Chrome内置Gemini的意义不在于Gemini；中国AI追随之路的五大误区；ECharts创始人“下海”养鱼；谷歌I/O开发者大会什么都有，只是没有惊喜
微软回应中国区AI团队“打包赴美”传闻
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
周排行
static方法和非static方法的区别（java）
如何查找计算机专业paper
java.lang.ClassFormatError: Incompatible magic value 0 in class file com/sitecha
跳跃游戏II
stm32_之【建立工程】
TeaWeb v0.0.9 发布，统计底层优化、主机监控功能改进
事件分发 -----控制字体大小
JavaScript DOM练习（动态表格添加） December 25，2019
JSF Scope & CDI
实现从零搭建一个登录注册页面（附源代码）
每日归档
更多
2024-05-19(0)
2024-05-18(4)
2024-05-17(34)
2024-05-16(6)
2024-05-15(24)
2024-05-14(0)
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022