Hadoop2.X系统日志文件

默认情况下,Hadoop2.X生成的系统日志文件存放在$HADOOP_HOME/logs目录,也可通过hadoop-env.sh文件中的HADOOP_LOG_DIR来进行修改。建议修改默认设置,使之独立于Hadoop的安装目录。这样的话,即使Hadoop升级后安装路径发生变化,也不会影响日志文件的位置。

运行在各台机器上的各个Hadoop守护进程会产生两类日志文件:

1、后缀名为.log

是通过log4j记录的。鉴于大部分应用程序的日志消息都写到该日志文件中,故障诊断的首要步骤即为检查该文件。标准的Hadoop log4j配置采用日常滚动文件追加方式(daily rolling file appender)来循环管理日志文件。系统不自动删除过期的日志文件,而是留待用户定期删除或存档,以节约本地磁盘空间。

2、后缀名为.out

记录标准输出和标准错误日志。由于Hadoop使用log4j记录日志,所以该文件通常只包含少量记录,甚至为空。重启守护进程时,系统会创建一个新文件来记录此类日志。系统仅保留最新的5个日志文件。旧的日志文件会附加到一个介于1和5之间的数字后缀,5表示最旧的文件。

日志文件的名称(两种类型)包含守护进程的用户名称、守护进程名称和本地主机名等信息。例如:

NameNode上面:
hadoop-hadoop-namenode-namenode.log
hadoop-hadoop-secondarynamenode-namenode.log
yarn-hadoop-resourcemanager-namenode.log

DataNode上面:
hadoop-hadoop-datanode-datanode1.log
yarn-hadoop-nodemanager-datanode1.log

这种命名方法保证集群内所有机器的日志文件名称各不相同,从而可以将所有日志文件存到一个目录中。

日志文件名称中的“用户名称”部分实际对应hadoop-env.sh文件中的HADOOP_IDENT_STRING项。如果想采取其他名称,可以修改HADOOP_IDENT_STRING项。

完毕。

猜你喜欢

转载自blog.csdn.net/andyguan01_2/article/details/88621849