CentOS 7+Hadoop-2.7.2的hadoop环境搭建（二）伪分布式运行模式

在 hadoop环境搭建（一）快速创建第一台虚拟机中继续环境搭建

启动HDFS

配置集群

1. 配置：hadoop-env.sh

   [zyy@hadoop-00 hadoop-2.7.2]$ cd /opt/module/hadoop-2.7.2/etc/hadoop/
   [zyy@hadoop-00 hadoop]$ vim hadoop-env.sh
   
   

   修改25行的：export JAVA_HOME=/opt/module/jdk1.8.0_162
   

2. 配置：core-site.xml
   [zyy@hadoop-00 hadoop]$ vim core-site.xml

第一次打开

在

 <configuration>
</configuration>

之间添加一下内容，注意后面的配置文件中出现Hadoop=00应改为你自己的hostname

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://Hadoop-00:9000</value>  
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

修改结果：

3. 配置：hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

启动NameNode，DataNode

1. 格式化NameNode（第一次启动时格式化，以后就不要总格式化）

[zyy@hadoop-00 hadoop]$ cd /opt/module/hadoop-2.7.2/
[zyy@hadoop-00 hadoop-2.7.2]$ bin/hdfs namenode -format

结果出现这个成功

2. 启动NameNode，DataNode

[zyy@hadoop-00 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
[zyy@hadoop-00 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

3. 查看启动结果

[zyy@hadoop-00 hadoop-2.7.2]$ jps

4. web端查看HDFS文件系统
   http://192.168.218.132:50070/dfshealth.html#tab-overview

启动YARN

配置集群

1. 配置yarn-env.sh

[zyy@hadoop-00 hadoop-2.7.2]$ cd /opt/module/hadoop-2.7.2/etc/hadoop/
[zyy@hadoop-00 hadoop]$ vim yarn-env.sh 

配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_162

2. 配置yarn-site.xml

注意hadoop-00应改为你自己的hostname

<!-- Reducer获取数据的方式 -->
<property>
 		<name>yarn.nodemanager.aux-services</name>
 		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-00</value>
</property>

3. 配置：mapred-env.sh

配置JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_162

4. 配置：(对mapred-site.xml.template重新命名为) mapred-site.xml 并修改

[zyy@hadoop-00 hadoop]$ mv mapred-site.xml.template mapred-site.xml
[zyy@hadoop-00 hadoop]$ vim mapred-site.xml

<!-- 指定MR运行在YARN上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

启动ResourceManager，NodeManager

1. 启动前先确保NameNode和DataNode已经启动
2. 启动ResourceManager，NodeManager

[zyy@hadoop-00 hadoop]$ cd /opt/module/hadoop-2.7.2/
[zyy@hadoop-00 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
[zyy@hadoop-00 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

3. 查看启动结果
   
   YARN的web页面 ：
   http://192.168.218.132:8088/cluster
   

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。

1. 配置mapred-site.xml

[zyy@hadoop-00 hadoop]$ cd /opt/module/hadoop-2.7.2/etc/hadoop/
[zyy@hadoop-00 hadoop]$ vi mapred-site.xml

在该文件里面增加如下配置：

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>Hadoop-00:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value> Hadoop-00:19888</value>
</property>

2. 启动历史服务器

[zyy@hadoop-00 hadoop]$ cd /opt/module/hadoop-2.7.2/
[zyy@hadoop-00 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

3. 查看启动结果
   
   web端查看：http://192.168.218.132:19888/jobhistory

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

1. 关闭NodeManager 、ResourceManager和HistoryManager

[zyy@hadoop-00 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
[zyy@hadoop-00 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
[zyy@hadoop-00 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager

查看是否关闭：

2. 配置yarn-site.xml

[zyy@hadoop-00 hadoop-2.7.2]$ cd /opt/module/hadoop-2.7.2/etc/hadoop/
[zyy@hadoop-00 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置：

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

3. 启动NodeManager 、ResourceManager和HistoryManager

[zyy@hadoop-00 hadoop]$ cd /opt/module/hadoop-2.7.2/
[zyy@hadoop-00 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
[zyy@hadoop-00 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
[zyy@hadoop-00 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

到这里伪分布就完成了!