hadoop yarn如何启动聚合日志

yarn的日志监控功能默认是处于关闭状态的，需要我们进行开启，开启步骤如下
一：在yarn-site.xml文件中添加日志监控支持
该配置中添加下面的配置：

</property>
        <!-- 日志聚合目录 -->
        <property>
                <name>yarn.nodemanager.remote-app-log-dir</name>
                <value>/tmp/logs</value>
        </property> 
         <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>4096</value>
        </property>
         <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>4096</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>5</value>
        </property>

二、在mapred-site.xml文件中添加日志服务的配置

<property>
    <!-- 表示提交到hadoop中的任务采用yarn来运行，要是已经有该配置则无需重复配置 -->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
  <!--日志监控服务的地址，一般填写为nodenode机器地址 -->
    <name>mapreduce.jobhistroy.address</name>
    <value>master:10020</value>
</property>
<property>
    <name>mapreduce.jobhistroy.webapp.address</name>
    <value>master:19888</value>
</property>

三、将修改后的配置文件拷贝到集群中的其他机器

四、重新启动集群的Hdfs和Yarn服务
./start-all.sh

五、开启日志监控服务进程
在nodenode机器上执行 sbin/mr-jobhistory-daemon.sh start historyserver 命令，执行完成后使用jps命令查看是否启动成功，若启动成功则会显示出JobHistoryServer服务

[hadoop@hadoop001 hadoop]$ jps
28144 NameNode
28433 SecondaryNameNode
31062 Jps
28582 ResourceManager
28682 NodeManager
28269 DataNode
29469 JobHistoryServer

hadoop yarn如何启动聚合日志

猜你喜欢