hadoop平台搭建第五集之-zookeeper的安装和搭建hadoop的HA平台

其他 2020-04-22 10:34:39 阅读次数: 0

首先说明之前的一个配置错误，因为我在配置/etc/sudoers 用户权限文件的时候 chen ALL=（ALL） ALL 字母没有大写，导致sudo命令不能用，在这里通过之前配置的朋友可以看看你的配置是否有问题，修改完成，记得吧sudoers文件权限修改成440
用命令 chmod 440 /etc/sudoers
这样之前的问题就解决了，然后我们来看下怎么安装ZK和hadoop的HA平台，
首先我们知道hadoop的ha是基于zk的，zk用来做主键切换保持一致性问题，很好，所以我们先安装zk集群，我们首先安装3台zk集群，
zookeeper的安装：
java
准备：安装jdk1.8
3.4.10
安装节点：奇数台 255台 3-11台
安装3台 hadoop01 hadoop02 hadoop03
步骤：
1）上传
2）解压
tar -xvzf zookeeper-3.4.10.tar.gz
3）配置环境变量
sudo vim /etc/profile

		export JAVA_HOME=/home/chen/JDK1.8/jdk1.8.0_73

export ZOOKEEPER_HOME=/home/chen/zookeeper-3.4.10/zookeeper-3.4.10
export HADOOP_HOME=/home/chen/hadoop/hadoop-2.7.6

export PATH= P A T H : PATH: JAVA_HOME/bin: Z O O K E E P E R H O M E / b i n : ZOOKEEPER_HOME/bin: HADOOP_HOME/bin:$HADOOP_HOME/sbin

		source /etc/profile

source /etc/profile

4)修改zk的配置文件
/home/hadoop/apps/zookeeper-3.4.10/conf
mv zoo_sample.cfg zoo.cfg

# The number of milliseconds of each tick  心跳时间间隔
			tickTime=2000
			# The number of ticks that the initial 
			# synchronization phase can take  初始化心跳连接次数
			initLimit=10
			# The number of ticks that can pass between 
			# sending a request and getting an acknowledgement
			发送请求和返回响应之间的心跳次数
			syncLimit=5
			# the directory where the snapshot is stored.
			# do not use /tmp for storage, /tmp here is just 
			# example sakes.
			//zk的数据文件存储位置  zk的核心数据文件  一定要改
			dataDir=/home/hadoop/data/zookeeperdata
			# the port at which the clients will connect
			# 客户端连接zk的端口  默认端口2181
			clientPort=2181
			# the maximum number of client connections.
			# increase this if you need to handle more clients
			#maxClientCnxns=60
			#
			# Be sure to read the maintenance section of the 
			# administrator guide before turning on autopurge.
			#
			#http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
			#
			# The number of snapshots to retain in dataDir
			#autopurge.snapRetainCount=3
			# Purge task interval in hours
			# Set to "0" to disable auto purge feature
			#autopurge.purgeInterval=1
			server.1=hadoop01:2888:3888
			server.2=hadoop02:2888:3888
			server.3=hadoop03:2888:3888

末尾追加：配置zk的所有的节点信息
zk集群中 每一个节点都有一个自己的独立的id
zk节点相互之间不能重复的 这个id认为规定的
通信选举的时候使用的就是id 范围0-255
server.id=主机名：2888:3888
2888：心跳端口
3888：选举端口
一行代表一个节点
hadoop01----1
hadoop02----2
hadoop03----3

5)到对应的节点上添加id文件

路径：dataDir=/home/hadoop/data/zookeeperdata
文件名：myid
文件内容 ：对应的id 不要有多余的空格 或空行
mkdir /home/hadoop/data/zookeeperdata
vi myid
1
#文件里面指定id就可以，ID范围在0到255之间随便改，每个机器id要不一样
注意：修改hadoop05、hadoop06对应的myid ，你上面 server.1 这个server.1
myid 就要配置成 1 同理， hadoop05 配置为2 ， Hadoop06配置为3
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
6）远程发送到其他节点
scp -r zookeeper-3.4.10 hadoop02:$PWD # $PWD 表示相同路径下
scp -r zookeeper-3.4.10 hadoop03:/home/hadoop/apps/

sudo scp /etc/profile hadoop02:/etc/
sudo scp /etc/profile hadoop03:/etc/

source /etc/profile

7)启动
关闭防火墙 sudo service iptables stop
启动：三个节点分别启动
hadoop01: zkServer.sh start

jps
6332 QuorumPeerMain
不代表启动成功
查看zk的状态：
zkServer.sh status
在这里插入图片描述
现在我们的ZK已经安装好了，而且已经启动了，然后我们先关闭zk集群
用命令:
zkServer.sh stop

然后我们开始安装hadoop的HA平台：
ha的搭建

1）集群规划
hdfs:2个namenode   4个datanode    2个zkfc
	3个journalnode
yarn：2个resourcemanager   4个nodemanager
zk：3个zk

		hadoop01		hadoop02		hadoop03	hadoop04
hdfs	namenode		namenode
		zkfc			zkfc
		datanode		datanode		datanode	datanode
		journalnode		jounalnode		jounalnode
yarn：	resourcemanager	resourcemanager
		nodemanager		nodemanager		nodemanager	nodemanager
zk		quorumpeermain	quorumpeermain	quorumpeermain

2)安装：
安装准备
1）主机名
2）ip
3)hosts
4)防火墙
5）selinux
6）普通用户的sudoers权限
7）修改系统的启动级别 3
8）安装jdk
9）ssh免密码登录
10）时间同步 ha必须做时间同步
sudo ntpdate ntp1.aliyun.com
删除之前的hadoop：
1）关闭hadoop集群
stop-dfs.sh
stop-yarn.sh
2)删除hadoop的安装包
rm -rf hadoop-2.7.6
3）删除hadoop的数据文件
4)重新上传一个安装包
安装步骤：

1）上传
Hadoop版本是2.7.6 然后zk的版本是3.4.10 都可以去官网找到安装包。
2）解压
tar -xvzf hadoop-2.7.6.tar.gz
3）配置环境变量

export JAVA_HOME=/home/chen/JDK1.8/jdk1.8.0_73
export ZOOKEEPER_HOME=/home/chen/zookeeper-3.4.10/zookeeper-3.4.10
export HADOOP_HOME=/home/chen/hadoop/hadoop-2.7.6

export PATH= P A T H : PATH: JAVA_HOME/bin: Z O O K E E P E R H O M E / b i n : ZOOKEEPER_HOME/bin: HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
验证：hadoop version

4)修改hadoop的配置文件
$HADOOP_HOME/etc/hadoop
hadoop-env.sh

修改：
export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_73

core-site.xml

<!-- 指定 hdfs 的 访问入口  namenode的入口 这里的bd1807  就相当于两个namenode的组名-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bd1807/</value>
</property>

<!-- 指定 hadoop 数据存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadoopdata/</value>
</property>
<!-- 指定 zookeeper 集群访问地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>

hdfs-site.xml

<!-- 指定副本数 -->
<property>
 <name>dfs.replication</name>
 <value>3</value>
</property>

<!--指定 hdfs 两个namenode的 nameservice 为 bd1807，需要和 core-site.xml 中保持一致-->
<property>
 <name>dfs.nameservices</name>
 <value>bd1807</value>
</property>

<!-- bd1807 下面有两个 NameNode，分别是 nn1，nn2 -->
<property>
 <name>dfs.ha.namenodes.bd1807</name>
  <value>nn1,nn2</value>
</property>

<!-- nn1 的 RPC 通信地址 -->
<property>
 <name>dfs.namenode.rpc-address.bd1807.nn1</name>
 <value>hadoop01:9000</value>
</property>
<!-- nn1 的 http 通信地址  web -->
<property>
 <name>dfs.namenode.http-address.bd1807.nn1</name>
 <value>hadoop01:50070</value>
</property>

<!-- nn2 的 RPC 通信地址 -->
<property>
 <name>dfs.namenode.rpc-address.bd1807.nn2</name>
 <value>hadoop02:9000</value>
 </property>
<!-- nn2 的 http 通信地址 -->
<property>
 <name>dfs.namenode.http-address.bd1807.nn2</name>
 <value>hadoop02:50070</value>
</property>

<!-- 指定 NameNode 的 edits 元数据在 JournalNode 上的存放位置 端口8485-->
<property>
 <name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/bd1807</value>
</property>

<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
<property>
 <name>dfs.journalnode.edits.dir</name>
 <value>/home/hadoop/data/hadoopdata/journaldata</value>
</property>

<!-- 开启 NameNode 失败自动切换 -->
<property>
 <name>dfs.ha.automatic-failover.enabled</name>
 <value>true</value>
</property>

<!-- 配置失败自动切换实现方式 -->
<!-- 此处配置在安装的时候切记检查不要换行-->
<property>
 <name>dfs.client.failover.proxy.provider.bd1807</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
 <name>dfs.ha.fencing.methods</name>
 <value>
 sshfence
 shell(/bin/true)
 </value>
</property>

<!-- 使用 sshfence 隔离机制时需要 ssh 免登陆 -->
<property>
 <name>dfs.ha.fencing.ssh.private-key-files</name>
 <value>/home/hadoop/.ssh/id_rsa</value>
</property>

<!-- 配置 sshfence 隔离机制超时时间 -->
<property>
 <name>dfs.ha.fencing.ssh.connect-timeout</name>
 <value>30000</value>
</property>


yarn-site.xml

<!-- 开启 RM 高可用 -->
<property>
 <name>yarn.resourcemanager.ha.enabled</name>
 <value>true</value>
</property>

<!-- 指定 RM 的 cluster id -->
<property>
 <name>yarn.resourcemanager.cluster-id</name>
 <value>yrc</value>
</property>

<!-- 指定 RM 的名字 -->
<property>
 <name>yarn.resourcemanager.ha.rm-ids</name>
 <value>rm1,rm2</value>
 </property>
 
<!-- 分别指定 RM 的地址 -->
<property>
 <name>yarn.resourcemanager.hostname.rm1</name>
 <value>hadoop01</value>
</property>

<property>
 <name>yarn.resourcemanager.hostname.rm2</name>
 <value>hadoop02</value>
</property>

<!-- 指定 zk 集群地址 -->
<property>
 <name>yarn.resourcemanager.zk-address</name>
 <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>

<!-- 要运行 MapReduce 程序必须配置的附属服务 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 开启 YARN 集群的日志聚合功能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>

<!-- YARN 集群的聚合日志最长保留时长 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>86400</value>
</property>

<!-- 启用自动恢复 -->
<property>
 <name>yarn.resourcemanager.recovery.enabled</name>
 <value>true</value>
</property>

<!-- 制定 resourcemanager 的状态信息存储在 zookeeper 集群上-->
<property>
 <name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

mapred-site.xml
cp mapred-site.xml.template mapred-site.xml

<!-- 指定 mr 框架为 yarn 方式 -->
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

<!-- 设置 mapreduce rpc的历史服务器地址和端口号 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop03:10020</value>
</property>

<!-- mapreduce 历史服务器的 web 访问地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop03:19888</value>
</property>

slaves 从节点nodemanager datanode
hadoop01
hadoop02
hadoop03
hadoop04

5)将hadoop的安装包远程发送到其他节点
scp -r hadoop-2.7.6 hadoop02:/home/hadoop/apps/
scp -r hadoop-2.7.6 hadoop03:/home/hadoop/apps/
scp -r hadoop-2.7.6 hadoop04:/home/hadoop/apps/

source /etc/profile
hadoop version

6)从这一步开始 严格按照顺序执行
1）先启动journalnode
hadoop01 hadoop-daemon.sh start journalnode
hadoop02 hadoop-daemon.sh start journalnode
hadoop03 hadoop-daemon.sh start journalnode
2）格式化namenode 在一个namenode上执行格式化命令
在hadoop01执行
hadoop namenode -format

3)将hadoop01上的namenode的相关数据文件远程并发送到另一个namenode
节点hadoop02
scp -r dfs hadoop02:/home/hadoop/data/hadoopdata/
4）先启动zk
hadoop01
hadoop02
hadoop03
zkServer.sh start
5)格式化zkfc 选择一个namenode的节点
hdfs zkfc -formatZK

成功标志：
Successfully created /hadoop-ha/bd1807 in ZK
6）启动集群
启动hdfs
start-dfs.sh 任意节点执行

DFSZKFailoverController—zkfc
启动yarn
start-yarn.sh 最好在resourcemanager的节点

在哪一个节点执行上面的命令 在哪一个节点启动resourcemanager
另一个节点手动启动
yarn-daemon.sh start resourcemanager

注意：
单独启动zkfc的命令：
hadoop-daemon.sh start zkfc

ha验证：
先验证hdfs的主备切换：
namenode 2个
http://hadoop01:50070
http://hadoop02:50070
yarn的测试
http://hadoop01:8088
http://hadoop02:8088
mr 切换yarn的主节点
关机：
先关闭集群：
1）关闭hdfs
stop-dfs.sh
2)关闭yarn
stop-yarn.sh
3）关闭zk
zkServer.sh stop
再关机

蛋蛋淡淡定
发布了52 篇原创文章 · 获赞 31 · 访问量 1万+
私信 关注

猜你喜欢

转载自blog.csdn.net/qq_39361934/article/details/101204862
今日推荐
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
国产云输入法——仅华为无云端数据上传安全问题
开源日报 | 工业开源项目OGG 1.0；姐姐，你要和我一起配置火狐吗；苹果AI遥遥落后？Fedora 40
开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）
周排行
Metasploit文件目录与入侵基本概念
跨域(CORS)请求问题[No 'Access-Control-Allow-Origin' header is present on the requested resource]常见解决方案
CodeIgniter 源码解读之 CodeIgniter.php（二）
SAS入门之（四）改变数据类型
初识元组
[数学建模]数学建模算法和模型（B站视频）（二）
Nginx 服务器源码安装配置流程
C#实现语音视频录制 【基于MCapture + MFile】
开发进度4
下载安装vue的方法网址
每日归档
更多
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)
2024-04-21(0)
2024-04-20(6)
2024-04-19(5)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022