1.Ambariクラスターlog4j構成
HDPクラスターはデフォルトでインストールされ、ログはデータディスクに配置されますが、namenodeとsnamenodeのデータディスクは500Gだけではありません。誤ってデータディスクがログでいっぱいになります。まず、クラスター構成から始めます。
1.1.HDFS log4j
1.2.YARN log4j
1.3.Hive log4j
1.4.Solr log4j
1.5。レンジャーlog4j
次に、スクリプトは期限切れの大きなログを削除します
HDPクラスターはデフォルトでインストールされ、ログはデータディスクに保存されますが、namenodeとsnamenodeのデータディスクは500Gだけではありません。誤ってデータディスクがログでいっぱいになり、ログがデータディスクに保存されます/ hadoop。
hdfs_log_path=/app/var/log/hadoop/hdfs/
log_tmp=/app/cluster_log/log_tmp/
find $hdfs_log_path -mtime +7 -size +500M -name 'hdfs-audit.log.*' | xargs -I '{}' mv {} $log_tmp
find $hdfs_log_path -mtime +7 -size +500M -name 'SecurityAuth.audit.*' | xargs -I '{}' mv {} $log_tmp
rm -rf $log_tmp/*パラメータの検索：-mtime 7日前、-sizeが500Mより大きい、-nameあいまい一致、一致後、一時ディレクトリに移動して削除します。この簡単なスクリプト例を使用すると、パスログを自分で追加および削除できます。
スケジューリングを開始し、各月末に1回実行します
