Hadoop-2.x 学习笔记（2） —— MapReduce 历史服务配置启动查看,YARN 日志聚集

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012292754/article/details/86468167

1 MapReduce 历史服务配置

• 查看已经运行完成的 MapReduce 作业记录。默认，历史服务器没有启动；
• 启动 ：sbin/mr-jobhistory-daemon.sh start historyserver
• WEB UI : node1:19888

1.1 mapred-site.xml

 <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node1:10020</value>
    </property>
    
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node1:19888</value>
    </property>

2 YARN 日志聚集

• 应用运行完成后，将日志信息上传到 HDFS 系统；
• yarn-site.xml

<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>640800</value>
    </property>

3 HDFS 垃圾回收

• core-site.xml

<property>
        <name>fs.trash.interval</name>
        <value>7*24*60</value>
    </property>

4 启动方式

4.1 各个服务组件逐一启动

• hdfs

hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode

• yarn

yarn-daemon.sh start|stop resourcemanager|nodemanager

• mapreduce

mr-historyserver-daemon.sh start|stop history

4.2 各个模块分开启动

• hdfs

start-dfs.sh

• yarn

start-yarn.sh

5 secondarynamenode 配置

• hdfs-site.xml