mecanismo de instantâneo no HDFS

introduzir

Um instantâneo é um registro de estado de armazenamento de dados em um determinado momento, e um backup é uma cópia do armazenamento de dados em um determinado momento.
O instantâneo HDFS é uma imagem de todo o sistema de arquivos ou de um determinado diretório em um determinado momento. Esta imagem não será atualizada dinamicamente à medida que o diretório de origem muda.

Recuperação de dados:
Crie instantâneos de diretórios importantes. Quando os usuários cometem erros, eles podem usar instantâneos para realizar operações de recuperação relacionadas.
O backup de dados
usa instantâneo para fazer backup de todo o cluster ou de determinados diretórios e arquivos. O administrador usa o instantâneo em um determinado momento como o nó inicial do backup e, em seguida, executa incrementos de backup com base nas diferenças entre os diferentes backups da tabela.
Teste de dados:
A realização de testes ou experimentos em alguns dados importantes pode destruir diretamente os dados originais. Um instantâneo pode ser criado temporariamente para o usuário operar os dados e, em seguida, o usuário pode realizar testes experimentais de deterioração relevantes no instantâneo correspondente para evitar danos aos dados originais.

O snapshot do HDFS não é uma simples cópia dos dados, apenas registra as diferenças.
Para a maioria dos dados inalterados, os dados que você vê são na verdade o conteúdo apontado pelo caminho físico atual, e os dados do inode alterados serão copiados fora do instantâneo, que é a chamada cópia diferencial.
inode refere-se ao nó de índice, que é usado para armazenar informações básicas de arquivos e diretórios, incluindo hora, nome, proprietário, grupo, etc.
Os snapshots HDFS não copiam blocos no datanode, apenas registram a lista de blocos e o tamanho do arquivo
Os snapshots do HDFS não afetam negativamente as operações regulares do HDFS e as modificações são registradas no sentido anti-horário, para que os dados atuais possam ser acessados diretamente. Calcule os dados do instantâneo subtraindo modificações dos dados atuais

No HDFS, snapshots podem ser criados para todo o sistema de arquivos ou para um determinado diretório, mas a premissa é que a função de snapshot esteja habilitada para o diretório correspondente.
Se você criar um instantâneo para um diretório que não tenha a função de instantâneo ativada, um erro será relatado.
No HDFS, você pode desabilitar a função de snapshot para diretórios que possuem a função de snapshot habilitada.
O pré-requisito para desabilitar é que todas as capturas instantâneas no diretório tenham sido excluídas.

# 启用快照功能
hdfs dfsadmin -allowSnapshot .allenwoon
# 禁用快照功能
hdfs dfsadmin -disadminSnapshot /allenwoon

Insira a descrição da imagem aqui

Insira a descrição da imagem aqui