Procesamiento dividido de archivos grandes de Linux

Si los archivos de registro no se dividen ni se respaldan regularmente al principio de la implementación del proyecto, los archivos de registro se harán cada vez más grandes. Ahora he aprendido dos formas de resolverlo, compartirlo.

1. Comando dividido de Linux

split [--help][--version][-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]

El comando de división se puede dividir por tamaño de línea o byte.
Ejemplo:
dividir con un tamaño de 20 m:
dividir -b 20 m catalina.out part_
generará part_aa, part_ab y otros archivos con sufijo de letra.
División por 10000 líneas:
división -10000 catalina.out part_

2. herramienta logrotate
Proporciona reemplazo, compresión, eliminación y envío automático de archivos de registro. Cada archivo de registro se puede configurar para que se procese de forma diaria, semanal o mensual. También se puede procesar de inmediato cuando el archivo es demasiado grande.
Ejemplo:
Crear un nuevo archivo en el directorio de /etc/logrotate.d/, por ejemplo, vi /etc/logrotate.d/tomcat
contenido:

/app/tomcat/logs/catalina.out {  
su root tomcat 
rotate 31  
daily  
copytruncate  
compress  
notifempty  
missingok  
dateext  
}

Luego ejecute / usr / sbin / logrotate -f /etc/logrotate.conf
para encontrar que el archivo ha sido respaldado.

Explicación de los parámetros:
comprimir comprime el registro después de
volcarlo mediante gzip. Cuando no se necesite comprimir, use este parámetro
copytruncate para el archivo de registro que aún está abierto,
haga una copia de seguridad del registro actual y trunca el archivo de registro de copia de seguridad nocopytruncate pero no trunca la
transferencia del grupo propietario del modo de creación Para almacenar archivos, use el modo de archivo especificado para crear un nuevo archivo de registro.
Nocreate no crea un nuevo archivo de registro cuando
delaycompress y comprimir se usan juntos, el archivo de registro volcado no se comprimirá hasta que el siguiente
nodo de volcadolaycompress anule la opción delaycompress, el volcado también se comprime.
dirección de errores La información de error durante el almacenamiento especial se envía a la dirección de correo electrónico especificada
si está vacía, incluso si es un archivo vacío, esta es la opción predeterminada de logrotate.
notifempty Si es un archivo vacío, no descargue la
dirección de correo. Envíe el archivo de registro volcado a la dirección de correo electrónico especificada.
Nomail no envía el archivo de registro al volcar.
directorio olddir El archivo de registro volcado se coloca en el directorio especificado. El archivo de registro después del archivo de registro actual se
volca en el mismo sistema de archivos noolddir y el archivo de registro actual se coloca en el mismo directorio.
Prerotate / endscript Los comandos que deben ejecutarse antes del volcado pueden colocarse en este par.
postrotate / endscript Los comandos que deben ejecutarse después del volcado se pueden poner en este par, estas dos palabras clave deben estar en líneas separadas
ciclo diario se designa volcado cada día
del ciclo semanal está volcado designado semanal
período mensual designado volcado mensual
número de vertederos antes de eliminar el archivo de registro especificado recuento de rotación, 0 significa ninguna copia de seguridad, copia de seguridad 5 se refiere a los cinco reservada
tabootext [+] La lista le dice a logrotate que no descargue archivos con la extensión especificada. Las extensiones predeterminadas son: .rpm-orig, .rpmsave, v, y ~
size size Solo volcar cuando el archivo de registro alcanza el tamaño especificado. Size puede especificar bytes ( (Predeterminado) y K (sizek) o M (sizem).
Dateext; agregue la etiqueta de fecha al archivo de registro
Force
logrotate -vf /etc/logrotate.d/log-file

137 artículos originales publicados · Me gusta 123 · Visite 250,000+

Supongo que te gusta

Origin blog.csdn.net/lz20120808/article/details/100102399
Recomendado
Clasificación