1. Configuración de log4j del clúster de Ambari
El clúster HDP se instala de forma predeterminada y los registros se colocan en el disco de datos, pero los discos de datos de namenode y snamenode no son solo 500G. Sin darse cuenta, el disco de datos se llena de registros. Primero, comience con la configuración del clúster.
1.1.HDFS log4j
1.2.YARN log4j
1.3.Hive log4j
1.4.Solr log4j
1.5.Ranger log4j
En segundo lugar, la secuencia de comandos elimina los registros grandes y caducados
El clúster HDP está instalado de forma predeterminada y los registros se almacenan en el disco de datos, pero los discos de datos de namenode y snamenode no solo son 500G. Sin darme cuenta, el disco de datos se llena de registros y mis registros se almacenan en el disco de datos / hadoop.
hdfs_log_path=/app/var/log/hadoop/hdfs/
log_tmp=/app/cluster_log/log_tmp/
find $hdfs_log_path -mtime +7 -size +500M -name 'hdfs-audit.log.*' | xargs -I '{}' mv {} $log_tmp
find $hdfs_log_path -mtime +7 -size +500M -name 'SecurityAuth.audit.*' | xargs -I '{}' mv {} $log_tmp
rm -rf $log_tmp/*buscar parámetro : -mtime hace 7 días, -size es mayor que 500M, -name coincidencia aproximada, después de la coincidencia, muévase al directorio temporal y elimínelo. Con este ejemplo de secuencia de comandos simple, puede agregar y eliminar registros de ruta usted mismo
Comience a programar, ejecute una vez al final de cada mes
