Hadoop完全分布式集群的搭建

如果前一章的内容你看懂了，那么请先删除之前搭建的三个新服务器重新克隆三个！！！(博主绝对不是故意为之，真的只是忘记了？)

1.分布式集群搭建规划

开始之前当然是要有一个计划：

2.集群的配置（权限问题，命令执行位置问题请自行注意）

2.1核心配置文件(core)

执行命令：vi core-site.xml
在文件中加入如下内容：

<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

2.2 HDFS配置文件(hdfs)

1.执行命令：vi hadoop-env.sh
配置JAVA_HOME环境：

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.再执行命令：vi hdfs-site.xml
添加如下内容：

<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>hadoop104:50090</value>
</property>

2.3YARN配置文件(yarn)

1.执行内容：vi yarn-env.sh
配置JAVA_HOME环境：

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.再执行命令：vi yarn-site.xml
添加如下内容：

<!-- reducer获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop103</value>
</property>

2.4MapReduce配置文件(mapred)

1.执行命令：vi mapred-env.sh
配置JAVA_HOME:

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.配置mapred-site.xml：

• 修改配置文件名（因为默认加载mapred-site.xml）：cp mapred-site.xml.template mapred-site.xml
• 在编辑配置文件：vi mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

2.5 在集群上分发配置好的Hadoop配置文件

执行命令：xsync /opt/module/hadoop-2.7.2/

3.集群的启动（分两种方式）

3.1 单点启动

1.分别启动/停止HDFS组件参考命令：hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
2.启动/停止YARN参考命令：yarn-daemon.sh start / stop resourcemanager / nodemanager

3.2 群起集群

3.2.1 SSH无密登录

查看：https://blog.csdn.net/qq_39657909/article/details/84938489

3.2.2 集群是第一次启动，需要格式化NameNode

执行命令：[lsl@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format

3.2.3 启动HDFS

执行命令：[lsl@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

3.2.4 启动YARN

执行命令：[lsl@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN

4.集群查看

4.1查看HDFS文件系统

浏览器查看：http://[NameNode主机IP]:50070/dfshealth.html#tab-overview

4.2查看SecondaryNameNode

浏览器查看：http://[SecondaryNameNode主机IP]:50090/status.html

4.3查看YARN

浏览器查看：http://[YARN主机IP]:8088/cluster

5.返回目录

总目录：https://blog.csdn.net/qq_39657909/article/details/84729209

版权声明：本博客为记录本人自学感悟，转载需注明出处！
https://me.csdn.net/qq_39657909