Hadoop学习之路——zookeeper搭建

zookeeper搭建流程篇

目录

zookeeper搭建流程篇

一、zookeeper搭建准备

1、软件准备

2、安装JDK

3、zookeeper安装与配置


一、zookeeper搭建准备

zookeeper是一个资源调度管理器,也就是说,HDFS需要它来进行分布式协调。可以用来实现:负载均衡、分布式协调/通知、集群管理、master选举等等。对于HDFS来说,它是不可缺少的一部分。

1、软件准备

jdk:jdk1.8.0_161/ jdk

zookeeper:zookeeper-3.4.10.tar.gz 

2、安装JDK

因为这只是个为HDFS做准备的小步骤,所以我这里就插到zookeeper前面了,同样也是为后期搭建做准备。

1、SSH免密

注:此步骤是为了节省时间而做的,也可以选择逐个安装,后面HDFS搭建的时候也会用到,可以选择跳过,后面搭建HDFS的时候再做也可以。

Hadoop01:

ssh-keygen –t rsa

生成密钥

注:不需要输入任何命令,点击四次回车生成公

Hadoop01:

将密钥拷贝到子节点

 2、安装JDK,配置环境变量

注:在此之前,新建软件安装包存放文件夹(software)、软件文件夹(servers)数据存放文件夹(data),此可以视为一个约定,方便管理,避免混乱。

mkdir –p /export/software

mkdir –p /export/servers

mkdir –p /export/data

注:需要有一个远程链接软件来进行软件包的传输,可以选择链接外网直接下载,后面会涉及到外网链接,这里就先不写了。

使用CRT软件链接Hadoop01,打开sftp功能切换目录至 /export/software

使用put –r + 软件目录  将软件传入主节点Hadoop01

Hadoop01:

解压jdk压缩包到servers文件夹下

Hadoop01:

重命名jdk

Hadoop01:

配置环境变量配置文件

vim /etc/profile

进入配置文件后,将环境变量添加至文件底部

Hadoop01:

添加环境变量后刷新配置文件:

Hadoop01:

检查jdk是否安装

至此,jdk环境变量配置完毕

3、zookeeper安装与配置

打开CRT,链接SFTP,拖动上传安装包至:/export/software/

进入安装包目录:

cd /export/software/

解压安装包到:/export/servers

tar–zxvf zookeeper-3.4.10.tar.gz –C /export/searvers

修改配置

进入zookeeper解压目录下:cd /export/servers/zookeeper/conf

复制并重命名zoo_sample.cfg文件为zoo.cfg

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

修改:dataDir

在最后添加:

server.1

server.2

server.3

按 (ESC) 后按 (shift+:)  输入(wq)保存并且推出

创建myid

注:此项操作需在Hadoop01,02,03中分别进行,如果拷贝,需再Hadoop02,03中分别修改,hadoop01中为1 ,02 中为2,03中为3

cd /export/data/zookeeper/zkdata

创建并写入

echo 1 > myid

写入系统配置文件

export ZK_HOME=/export/servers/zookeeper-3.4.10

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:

$HADOOP_HOME/sbin:$ZK_HOME/bin

刷新配置文件:

source /etc/profile

将配置好的zookeeper拷贝到其他节点

拷贝zookeeper解压目录到Hadoop02、Hadoop03

scp –r /export/servers/zookeeper-3.4.10/ hadoop02:/export/servers

scp –r /export/servers/zookeeper-3.4.10/ hadoop03:/export/servers

拷贝系统配置文件到Hadoop02、Hadoop03:

scp –r /etc/profile hadoop02:/etc/profile

scp –r /etc/profile hadoop03:/etc/profile

在Hadoop02、Hadoop03分别刷新系统配置文件

source /etc/profile

至此,zookeeper安装配置完毕

文章中的软件,可以私聊或在下方留言,免费提供。

猜你喜欢

转载自blog.csdn.net/weixin_44746721/article/details/107740184