集群部署重新规划

由于之前已经搭建好的集群中master职务过于多,会造成效率降低,故将NameNode、SecondaryNameNode、和ResourceManager 分开部署到三个节点上。

master slaver1 slaver2 slaver3 slaver4 slalver5
HDFS NameNode
DateNode
SecondaryNameNode
DateNode
DateNode DateNode DateNode DateNode
YARN NodeManager NodeManager ResourceManager NodeManager NodeManager NodeManager NodeManager

修改hdfs-site.xml文件,将图中master改为slaver1

    vim hdfs-site.xml

在这里插入图片描述

配置Yarn

vim yarn-env.sh

添加JAVA_HOME

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_181

在这里插入图片描述

配置yarn-site.xml

vim yarn-site.xml

将ResourceManager 的主机名都改为slaver2
在这里插入图片描述

配置 vim mapred-env.sh

vim mapred-env.sh

在这里插入图片描述

同步分发配置

 xsync.sh hdfs-site.xml
xsync.sh yarn-env.sh
xsync.sh yarn-site.xml
xsync.sh mapred-env.sh

启动集群
在这里插入图片描述

启动了hdfs,接下来启动yarn,因为ResourceManager在slaver2上,所以,启动时必须在slaver2上启动yarn
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/Source_00/article/details/83098063
今日推荐