mecanismo de instantánea en HDFS

introducir

• Una instantánea es un registro del estado del almacenamiento de datos en un momento determinado y una copia de seguridad es una copia del almacenamiento de datos en un momento determinado.
• La instantánea HDFS es una imagen de todo el sistema de archivos o de un determinado directorio en un momento determinado. Esta imagen no se actualizará dinámicamente a medida que cambie el directorio de origen.

efecto

• Recuperación de datos:
  cree instantáneas de directorios importantes. Cuando los usuarios cometen errores, pueden usar instantáneas para realizar operaciones de recuperación relacionadas.
• La copia de seguridad de datos
  utiliza instantáneas para realizar una copia de seguridad de todo el clúster o de ciertos directorios y archivos. El administrador utiliza la instantánea en un momento determinado como nodo inicial de la copia de seguridad y luego realiza incrementos de la copia de seguridad en función de las diferencias entre las diferentes copias de seguridad de la tabla.
• Pruebas de datos:
  realizar pruebas o experimentos con algunos datos importantes puede destruir directamente los datos originales. Se puede crear una instantánea temporalmente para que el usuario opere los datos, y luego el usuario puede realizar pruebas experimentales de deterioro relevantes en la instantánea correspondiente para evitar daños a los datos originales.

Realización de funciones

• La instantánea HDFS no es una simple copia de los datos, solo registra las diferencias.
• Para la mayoría de los datos sin cambios, los datos que ve son en realidad el contenido señalado por la ruta física actual, y los datos del inodo modificados se copiarán fuera de la instantánea, que es la llamada copia diferencial.
• inodo se refiere al nodo de índice, que se utiliza para almacenar información básica de archivos y directorios, incluida la hora, el nombre, el propietario, el grupo, etc.
• Las instantáneas HDFS no copian bloques en el nodo de datos, solo registran la lista de bloques y el tamaño del archivo
• Las instantáneas de HDFS no afectan negativamente las operaciones HDFS habituales y las modificaciones se registran en el sentido contrario a las agujas del reloj, por lo que se puede acceder directamente a los datos actuales. Calcule datos de instantáneas restando modificaciones de los datos actuales

Comandos y operaciones relacionadas

• En HDFS, se pueden crear instantáneas para todo el sistema de archivos o para un directorio determinado, pero la premisa es que la función de instantánea está habilitada para el directorio correspondiente.
• Si crea una instantánea para un directorio que no tiene la función de instantánea habilitada, se informará un error.
• En HDFS, puede deshabilitar la función de instantánea para directorios que la tengan habilitada.
• El requisito previo para deshabilitar es que se hayan eliminado todas las instantáneas del directorio.

# 启用快照功能
hdfs dfsadmin -allowSnapshot .allenwoon
# 禁用快照功能
hdfs dfsadmin -disadminSnapshot /allenwoon

Comandos relacionados