O hadoop.tmp.dir do Hadoop deve ser alterado durante a instalação

O hadoop.tmp.dir do Hadoop deve ser alterado durante a instalação

A propriedade hadoop.tmp.dir garante o local de armazenamento dos metadados HDFS, que contém alguns arquivos principais, como:

Arquivo fsimage : esta é a imagem do sistema de arquivos do HDFS, que registra o estado de todo o namespace do sistema de arquivos. Ele contém informações importantes sobre todos os arquivos, diretórios, permissões, locais de bloqueio, etc. O caminho para o arquivo fsimage geralmente é ${hadoop.tmp.dir}/dfs/name/current/fsimage.

arquivo de log de edições : Este é o log de operações do NameNode, que registra todas as operações de modificação no sistema de arquivos, como criação, exclusão, renomeação de arquivos, etc. O caminho para o arquivo de log de edições geralmente é ${hadoop.tmp.dir}/dfs/name/current/edits.

arquivo de versão : este arquivo registra as informações de versão do NameNode, que é usado para compatibilidade com versões anteriores e identificação do estado do sistema de arquivos. O caminho para o arquivo de versão geralmente é ${hadoop.tmp.dir}/dfs/name/current/VERSION.

Além desses arquivos, hadoop.tmp.dir pode conter outros arquivos relacionados aos metadados do HDFS, dependendo de como o Hadoop está configurado e em execução.

hadoop.tmp.dir configura o diretório temporário do Hadoop. Por exemplo, os dados NameNode do HDFS são armazenados neste diretório por padrão. Verifique *-default.xml e outros arquivos de configuração padrão, e você poderá ver muitas configurações que dependem do hadoop. tmp.dir $configuraçãodehadop.tmp.dir.\_O\; padrãotinhadoop.tmp.diré/tmp/hadoop-\; \{user.name\}.\; Nestemomento$ , há um problema que NameNode armazenará metadados HDFS neste diretório /$tmp$ Em seguida, se o sistema operacional for reiniciado, o sistema limpará o conteúdo do diretório /tmp, resultando na perda dos metadados do NameNode. Este é um problema muito sério, portanto, devemos modificar este caminho.