HDP集群日志配置和日志删除脚本

一、Ambari 集群 log4j 配置

HDP 集群 默认安装的，日志放在数据盘，但是 namenode和snamenode的数据盘本身不大只有 500G，在不经意间 数据盘被日志装满,首先从集群配置着手。

1.1.HDFS log4j

1.2.YARN log4j

1.3.Hive log4j

1.4.Solr log4j

1.5.Ranger  log4j

二、脚本删除过期且较大的日志

HDP 集群 默认安装的，日志放在数据盘，但是 namenode和snamenode的数据盘本身不大只有 500G，在不经意间 数据盘被日志装满，我的日志放在 数据盘 /hadoop  下。

hdfs_log_path=/app/var/log/hadoop/hdfs/
log_tmp=/app/cluster_log/log_tmp/

find  $hdfs_log_path -mtime +7 -size +500M  -name 'hdfs-audit.log.*' | xargs -I '{}' mv {} $log_tmp

find  $hdfs_log_path -mtime +7 -size +500M  -name 'SecurityAuth.audit.*' | xargs -I '{}' mv {} $log_tmp

rm -rf $log_tmp/*

find 参数：  -mtime 7天前，  -size 大于500M， -name 模糊匹配    , 匹配到之后移动到临时目录然后删除， 以此脚本简单示例可以自行添加删除的路径日志

开启调度，每个月的 月末执行一次