Hadoop之分布式搭建高可用集群

其他 2021-03-29 11:04:08 阅读次数: 0

步骤

一、Hadoop分布式环境搭建

1.虚拟机环境准备

  1. 准备一台虚拟机，操作系统centos7.x
  2. 配置虚拟机的静态ip
  3. 修改主机名为hadoop101并进行端口映射
[root@master ~]# vi /etc/hostname
master
[root@master ~]# vi /etc/hosts
192.168.247.200 master

此时需要重启机器 reboot

  1. 关闭防火墙
[root@master ~]# systemctl stop firewalld
[root@master ~]# systemctl disable firewalld

禁用selinux

[root@master ~]# vi /etc/selinux/config

将selinux=enforcing改成selinux=disabled
在这里插入图片描述

  1. 配置时钟同步

(1) ntp服务安装

[root@master ~]# yum -y install ntp
[root@master ~]# rpm -qa|grep ntp
ntpdate-4.2.6p5-29.el7.centos.2.x86_64
ntp-4.2.6p5-29.el7.centos.2.x86_64

(2) 修改ntp配置文件
写一个定时同步网络时间到硬件的脚本

[root@master ~]# crontab -e

编辑模式下输入

*/1 * * * * /usr/sbin/ntpdate -u pool.ntp.org;clock -w

保存退出
(3) 重新启动ntpd

[root@master ~]# systemctl stop ntpd
[root@master ~]# systemctl start ntpd

(4) 设置为开机启动

[root@master ~]# systemctl enable ntpd.service
  1. 创建文件夹
    在/opt目录下创建download、software文件夹，分别用来存放安装包和程序
[root@master ~]# cd /opt/
[root@master opt]# mkdir download software
[root@master opt]# ls
download  software

2.安装jdk1.8

(1) 如果已经安装jdk1.8以上版本，可忽略此操作
(2) 用Xftp工具将jdk安装包导入到/opt/download目录下
(3) 将安装包解压到/opt/software下

[root@master hadoop]# tar -zxvf jdk-8u111-linux-x64.tar.gz -C /opt/software
[root@master opt]# cd software/
[root@master software]# ls
jdk1.8.0_111

(4) 给文件重命名，更加简洁

[root@master software]# mv jdk1.8.0_111/ jdk180
[root@master software]# ls
jdk180

(5) 进入jdk目录，复制jdk所在路径

[root@master software]# cd jdk180/
[root@master jdk180]# pwd
/opt/software/jdk180

(6) 配置jdk环境变量

[root@master software]# vi /etc/profile

在文件最后加入环境变量，然后保存退出

export JAVA_HOME=/opt/software/jdk180
export PATH=$JAVA_HOME/bin:$PATH
export CLASS_PATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

在这里插入图片描述
(7) 验证
先source /etc/profile激活环境变量，然后查看jdk版本

[root@master jdk180]# source /etc/profile
[root@master jdk180]# java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)

3.安装Hadoop

先让本机能够免密登录linux ssh 免密登录

(1) 下载
Hadoop下载地址
用Xftp工具将hadoop-2.6.0-cdh5.14.2.tar.gz导入到/opt/download/hadoop目录下
(2) 解压
进入hadoop压缩包所在目录，执行解压命令，解压到/opt/software目录下

[root@master hadoop]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/software

(3) 查看是否解压成功并重命名

[root@master hadoop]# cd ../../software/
[root@master software]# ls
hadoop-2.6.0-cdh5.14.2  jdk180
[root@master software]# mv hadoop-2.6.0-cdh5.14.2/ hadoop260
[root@master software]# ls
hadoop260  jdk180

把download里的native包，解压到software下hadoop里的lib/native目录下

(4) 将hadoop添加到环境变量

[root@master software]# cd hadoop260/
[root@master hadoop260]# pwd
/opt/software/hadoop260

[root@master hadoop260]# vi /etc/profile

在最后加入下面的环境变量

export HADOOP_HOME=/opt/software/hadoop260
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

记得source /etc/profile查看结果

[root@master hadoop260]# hadoop version
Hadoop 2.6.0-cdh5.14.2
Subversion http://github.com/cloudera/hadoop -r 5724a4ad7a27f7af31aa725694d3df09a68bb213
Compiled by jenkins on 2018-03-27T20:40Z
Compiled with protoc 2.5.0
From source with checksum 302899e86485742c090f626a828b28
This command was run using /opt/software/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar

(5) 配置集群
Hadoop的配置文件全部在$HADOOP_HOME/etc/hadoop目录下，下面不再说明

切换目录

[root@master hadoop260]# cd $HADOOP_HOME/etc/hadoop

先配置hdfs
（a）配置：hadoop-env.sh
Linux系统中获取jdk的安装路径：
可以通过echo $JAVA_HOME查看

[root@master hadoop260]# vi hadoop-env.sh

修改JAVA_HOME 路径：

export JAVA_HOME=/opt/software/jdk180

（b）配置：core-site.xml
在hadoop260下创建/data/tmp

[root@master hadoop260]# vi core-site.xml

在< configuration></ configuration>之间写入配置信息

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
    <value>hdfs://192.168.247.200:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/software/hadoop260/data/tmp</value>
</property>
</configuration>

（c）配置：hdfs-site.xml

[root@master hadoop260]# vi hdfs-site.xml

在< configuration></ configuration>之间写入配置信息

<configuration>
<!-- 指定HDFS副本的数量 -->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

再配置yarn
（a）配置mapred-site.xml

[root@master hadoop]# mv mapred-site.xml.template mapred-site.xml
[root@master hadoop]# vi mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（b）配置yarn-site.xml

[root@master hadoop]# vi yarn-site.xml

<configuration>
    <!-- reducer取数据的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

(6) 启动集群

（a）格式化NameNode（第一次启动时格式化，以后就不要格式化,多次格式化会导致namenode无法启动）

[root@master hadoop]# hdfs namenode -format

（b）启动集群

[root@master hadoop]# start-dfs.sh
[root@master hadoop]# jps

在这里插入图片描述

[root@master hadoop]# start-yarn.sh

在这里插入图片描述
（c）web端查看HDFS文件系统
http://192.168.247.200:50070
在这里插入图片描述
此时分布式环境搭建完成

二、ZooKeeper完全分布式环境搭建

(1) 解压zookeeper

[root@master hadoop]# tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/software/

(2) 进入安装目录，改名

[root@master software]# ls
hadoop260  jdk180  zookeeper-3.4.5-cdh5.14.2
[root@master software]# mv zookeeper-3.4.5-cdh5.14.2/ zookeeper345
[root@master software]# ls
hadoop260  jdk180  zookeeper345

(3) zookeeper目录下创建mydata文件夹，mydata下创建一个myid文件，myid里只需要写机器序号

(4) 进入conf目录，拷贝一份zoo_sample.cfg 命名为zoo.cfg 防止配置时写错

[root@master zookeeper345]# cd conf/
[root@master conf]# cp zoo_sample.cfg zoo.cfg
[root@master conf]# vi zoo.cfg

修改如图所标注的地方
在这里插入图片描述
(5) 配置环境变量

[root@master conf]# vi /etc/profile

在这里插入图片描述
激活环境变量

[root@master conf]# source /etc/profile

(6) 启动zookeeper
在这里插入图片描述
zookeeper配置完成！

三、Hadoop高可用集群搭建

1.准备

(a) 搭建好一个Hadoop完全分布式集群（可以未进行namenode格式化），此处用到三台机器master、slave1、slave2
(b) ZooKeeper完全分布式环境已经安装完成

2.HDFS-HA（High Available）

a.配置 HDFS-HA 集群

master slave1 slave2
NameNode NameNode
ResourceManager ResourceManager
ZKFC ZKFC
DataNode DataNode DataNode
JournalNode JournalNode JournalNode
NodeManager NodeManager NodeManager
ZooKeeper ZooKeeper ZooKeeper

(1) 在第一台机器 (master) 配置core-site.xml

<configuration>
<!-- 把两个NameNode）的地址组装成一个集群mycluster -->
		<property>
			<name>fs.defaultFS</name>
        	<value>hdfs://mycluster</value>
		</property>

		<!-- 指定hadoop运行时产生文件的存储目录 -->
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/opt/software/hadoop260/data/tmp</value>
		</property>
</configuration>

(2) 在第一台机器 (master) 配置hdfs-site.xml

<configuration>
        <!-- 完全分布式集群名称 -->
        <property>
                <name>dfs.nameservices</name>
                <value>mycluster</value>
        </property>

        <!-- 集群中NameNode节点都有哪些,这里是nn1和nn2 -->
        <property>
                <name>dfs.ha.namenodes.mycluster</name>
                <value>nn1,nn2</value>
        </property>

        <!-- nn1的RPC通信地址 -->
        <property>
                <name>dfs.namenode.rpc-address.mycluster.nn1</name>
                <value>master:9000</value>
        </property>

        <!-- nn2的RPC通信地址 -->
        <property>
                <name>dfs.namenode.rpc-address.mycluster.nn2</name>
                <value>slave1:9000</value>
        </property>

        <!-- nn1的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.mycluster.nn1</name>
                <value>master:50070</value>
        </property>

        <!-- nn2的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.mycluster.nn2</name>
                <value>slave1:50070</value>
        </property>

        <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
</property>

        <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应，多个机制用换行分割，即每个机制占用一行 -->
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>
                        sshfence
                        shell(/bin/true)
                </value>
        </property>

        <!-- 使用隔离机制时需要ssh无秘钥登录-->
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/home/hadoop/.ssh/id_rsa</value>
        </property>

        <!-- 声明journalnode服务器存储目录-->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/opt/software/hadoop260/data/jn</value>
        </property>

        <!-- 关闭权限检查-->
        <property>
                <name>dfs.permissions.enable</name>
                <value>false</value>
        </property>

        <!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->
        <property>
                <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
</configuration>

(3) 拷贝配置好的hadoop环境到其他节点

[root@master hadoop]# scp core-site.xml root@slave1:$PWD
[root@master hadoop]# scp hdfs-site.xml root@slave1:$PWD

b.启动 HDFS-HA 集群

(1) 在各个JournalNode节点上，输入以下命令启动journalnode服务

$HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode

(2) 在[nn1]上，对其进行格式化，并启动
（如果之前已经格式化过，此处格式化会导致namenode和datanode VRESION中的clusterID不一致，进而导致datanode无法启动。解决方案：修改datanode中的clusterID与namenode中的clusterID相同）

[root@master tmp]# $HADOOP_HOME/bin/hdfs namenode -format
[root@master tmp]# $HADOOP_HOME/sbin/hadoop-daemon.sh start namenode

(3) 在[nn2]上，同步nn1的元数据信息

[root@slave1 tmp]# $HADOOP_HOME/bin/hdfs namenode -bootstrapStandby

(4) 启动[nn2]

[root@slave1 tmp]# $HADOOP_HOME/sbin/hadoop-daemon.sh start namenode

(5) 查看web页面显示
在这里插入图片描述
在这里插入图片描述
(6) 在[nn1]上，启动所有datanode

[root@master tmp]# $HADOOP_HOME/sbin/hadoop-daemons.sh start datanode

(7) 将[nn1]切换为Active

[root@master tmp]# $HADOOP_HOME/bin/hdfs haadmin -transitionToActive nn1

(8) 查看是否Active

[root@master tmp]# $HADOOP_HOME/bin/hdfs haadmin -getServiceState nn1

在这里插入图片描述

c.配置 HDFS-HA 自动故障转移

  1. 具体配置
    (1) 在hdfs-site.xml中增加
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>

(2) 在core-site.xml文件中增加

<property>
	<name>ha.zookeeper.quorum</name>
	<value>master:2181,slave1:2181,slave2:2181</value>
</property>
  1. 启动

(1) 关闭所有HDFS服务

stop-dfs.sh

(2) 启动Zookeeper集群

zkServer.sh start

(3) 初始化 HA 在 Zookeeper 中状态

hdfs zkfc -formatZK

(4) 启动HDFS服务

start-dfs.sh

(5) 在各个NameNode节点上启动DFSZK Failover Controller，先在哪台机器启动，哪个机器的NameNode就是Active NameNode(默认start-dfs.sh已经自动启动，以下是单独启动的命令)

hadoop-daemon.sh start zkfc
  1. 验证

(1) 将Active NameNode进程kill

kill -9 namenode的进程id

(2) 将Active NameNode机器断开网络

service network stop

3.YARN-HA

a.配置YARN-HA集群

  1. 规划集群
master slave
ResourceManager ResourceManager
  1. 具体配置

(1) yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!--启用resourcemanager ha-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

    <!--声明两台resourcemanager的地址-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>master</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>slave1</value>
    </property>

    <!--指定zookeeper集群的地址-->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>

    <!--启用自动恢复-->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>

    <!--指定resourcemanager的状态信息存储在zookeeper集群-->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>

</configuration>

(2) 同步更新其他节点的yarn-site.xml配置信息

[root@master hadoop]# scp yarn-site.xml root@slave1:$PWD

b.启动yarn

(1) 在 master 中执行

start-yarn.sh

(2) 在 slave1 中执行

yarn-daemon.sh start resourcemanager

(3) 查看服务状态

yarn rmadmin -getServiceState rm1

在这里插入图片描述
(4) 查看web端显示
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_48482704/article/details/110950177
今日推荐
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
《2024 年一季度互联网投融资运行情况》研究报告
报告：Django 仍然是 74% 开发者的首选
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
周排行
记一下去大梅沙的准备（2018-05-26）
Spring 注解 事务
基于HTTP协议的客户端缓存
阿里云rds 备份和还原
[PHP] 几个拖慢 PHP 程序/API 运行速度的点
python 代码风格------------PEP8规则
js控制json生成菜单——自制菜单（一）
将字符串: 'k:1|k1:2|k2:3|k3:4 ' ,处理成 python 字典: {'k':1, 'k1':2, ...}
微信小程序转支付宝小程序
Qt551.窗口滚动条
每日归档
更多
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022