Hadoop-Jobhistory的配置

JobHistory用来记录MapReduce任务的完整信息到HDFS目录中，方便给定位信息改错。

配置文件：mapred-site.ml

<configuration>
     <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
     </property>

     <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node40:10020</value>
     </property>

     <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node40:19888</value>
     </property>
     <property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/history/done</value>
     </property>
     <property>
        <name>mapreudce.jobhistory.intermediate.done-dir</name>
        <value>/history/done/done_intermediate</value>
     </property>
</configuration>

启动hadoop，再启动jobhistory：mr-jobhistory-daemon.sh start historyserver

相应目录下也会出现：

也可以通过网页看到信息：

点击logs会出现错误：聚合没有打开。

配置yarn-site.xml

     <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
     </property>
     <property>
             <name>yarn.log-aggregation-enable</name>
             <value>true</value>
     </property>

就可以解决了。