Lesson5 Hadoop 伪分布模式配置历史服务器、日志聚合及配置文件的相关说明

一、 配置历史服务器：

1.  配置mapred-site.xml：

<!--历史服务器端地址-->
<property> 
	<name>mapreduce.jobhistory.address</name>
	<value>node1:10020</value> 
</property>

<!--历史服务器Web端地址-->
<property> 
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>192.168.122.1:19888</value> 
</property>

 将node1改为主机名

 将192.168.122.1改为内网ip地址，输入ifconfig可查看

 完成后加入到配置文件中 

2.   启动历史服务器：输入以下命令启动历史服务

sbin/mr-jobhistory-daemon.sh start historyserver

  输入 jps 可以看到服务已打开

  

3.  查看历史服务器：直接输入 http://nodeb1:19888/jobhistory 查看

 对于某一运行完的程序，可以点击History查看

二、 日志聚合： 

1.  简介： 

日志聚合的概念：应用运行完成以后，将程序运行的日志信息上传至HDFS。

日志聚合的好处：可以方便地查看程序运行的详情，方便开发调试。

注意：开启日志聚合功能，需要重启NodeManager、ResourceManager和HistoryManager。

2.  配置 yarn-site.xml： 添加以下内容

<!--日志聚合功能使能-->
<property> 
	<name>yarn.log-aggregation-enable</name>
	<value>true</value> 
</property>

<!--日志保留时间设置为七天-->
<property> 
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value> 
</property>

3.  重启服务：

 关闭服务

sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/yarn-daemon.sh stop nodemanager

sbin/yarn-daemon.sh stop resourcemanager

 启动服务

sbin/yarn-daemon.sh start nodemanager

sbin/yarn-daemon.sh start resourcemanager

sbin/mr-jobhistory-daemon.sh start historyserver

重新运行WordCount程序：

hdfs dfs -rm -r /user/root/output

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/root/input /user/root/output

4.  查看日志： 对运行完的程序点击history，再点击logs，即可查看日志

 

 三、 配置文件说明：

Hadoop配置文件分为两类：默认配置文件和自定义配置文件。只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

1.  默认配置文件：

要获取的默认文件	文件存放在Hadoop的jar包中的位置
core-default.xml	hadoop-common-2.7.2.jar/core-default.xml
hdfs-default.xml	hadoop-hdfs-2.7.2.jar/hdfs-default.xml
yarn-default.xml	hadoop-yarn-common-2.7.2.jar/yarn-default.xml
mapred-default.xml	hadoop-mapreduce-client-core-2.7.2.jar/mapred-defaulr.xml

2.  自定义配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml

四个配置文件存放在$HADOOP_HOME/etc/hadoop路径，用户可以根据项目需求重新进行配置。