Hadoop 3.1 instalação e uso inicial

Others 2020-04-07 13:44:08 views: null

Verifique a versão do sistema operacional

$ sudo lsb_release -a

trabalho A. Preparatória (opcional)

Rede de Educação 1.1 Adicionando um espelho
Primeiro, faça uma cópia de segurança do /etc/apt/sources.list originais.

$ sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup

Em seguida, o $ sudo vim /etc/apt/sources.listcomando para substituir todo o conteúdo do /etc/apt/sources.list

# 清华大学镜像，默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
 
# 预发布软件源，不建议启用
# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-proposed main restricted universe multiverse

ou

#上海交通大学更新服务器
deb http://ftp.sjtu.edu.cn/ubuntu/ lucid main multiverse restricted universe
deb http://ftp.sjtu.edu.cn/ubuntu/ lucid-backports main multiverse restricted universe
deb http://ftp.sjtu.edu.cn/ubuntu/ lucid-proposed main multiverse restricted universe
deb http://ftp.sjtu.edu.cn/ubuntu/ lucid-security main multiverse restricted universe
deb http://ftp.sjtu.edu.cn/ubuntu/ lucid-updates main multiverse restricted universe
deb-src http://ftp.sjtu.edu.cn/ubuntu/ lucid main multiverse restricted universe
deb-src http://ftp.sjtu.edu.cn/ubuntu/ lucid-backports main multiverse restricted universe
deb-src http://ftp.sjtu.edu.cn/ubuntu/ lucid-proposed main multiverse restricted universe
deb-src http://ftp.sjtu.edu.cn/ubuntu/ lucid-security main multiverse restricted universe
deb-src http://ftp.sjtu.edu.cn/ubuntu/ lucid-updates main multiverse restricted universe

Finalmente, atualizar a fonte de dados.

$ sudo apt-get update           #更新数据源 
$ sudo apt-get upgrade         #更新软件版本，可以不执行

1.2 modificar o nome do host
Ubuntu 18.04 terá de modificar o arquivo /etc/cloud/cloud.cfg

$ sudo vim /etc/cloud/cloud.cfg     #找到preserve_hostname: false修改为preserve_hostname: true

Três computadores nomes são: Master, Slave01, Slave02. Use o comando

$ sudo vim /etc/hostname       #永久修改主机名（需要重新启动$ sudo reboot）

Modificar, salvar. Você deve, em seguida, reiniciar o computador para ser capaz de mudar o nome do computador. Ou usar o comando

$ sudo hostname Master         #临时修改主机名

Nota : Depois de executar este comando, modificar temporariamente o nome do host (no novo terminal para ver o nome do host foi alterado), o nome do host após a reinicialização e restaurar o original.

1,3 endereços IP Configurando
Ubuntu 18.04 Configuração /etc/netplan/50-cloud-init.yaml

$ sudo vim /etc/netplan/50-cloud-init.yaml         #双网卡地址配置

Aqui Insert Picture Descrição

$ sudo netplan apply                               #配置生效

Três computadores para configurar um endereço IP estático (o cartão padrão aqui chamado eth0, alguns também têm padrão é chamado ens160, ens32, você pode usar $ comando ifconfig para o visualizar).

$ sudo vim /etc/network/interfaces

Aqui Insert Picture Descrição

1.4 modificar o / etc / hosts
usando o $ ifconfigcomando para exibir o endereço IP do computador.
Três computadores sequencialmente de entrada em $sudo vim /etc/hostsordem para modificar o seguinte (note que o endereço IP de acordo com a situação real):
Aqui Insert Picture Descrição
Depois de editar, o comando ping Bureau três computadores podem ser conectados.

$ ping Slave01
$ ping Slave02
$ ping Master

1.5 usuário Hadoop para criar
três computadores são configurados em um usuário hadoop milhas nomeados conta (você pode definir o Hadoop nome de usuário, dependendo das circunstâncias)

$ sudo useradd -m miles -s /bin/bash        #创建hadoop用户叫做miles，并使用/bin/bash作为shell
$ sudo passwd miles                         #为hadoop用户设置密码，之后需要连续输入两次密码（例如：密码为0123456789）
$ sudo adduser miles sudo                   #为hadoop用户增加管理员权限
$ su - miles                                #切换当前用户为用户miles（hadoop用户）
$ sudo apt-get update                       #更新hadoop用户的apt，方便后面的安装

instalação 1.6 SSH, configurar SSH sem senha
se já servido por ssh, você pode pular esta etapa e configurar SSH sem senha.

$ sudo apt-get install openssh-server                      #安装SSH server

No set up senha de login SSH.

$ ssh localhost               #登陆SSH，第一次登陆输入yes
$ exit                        #退出登录的ssh localhost
$ cd ~/.ssh/                  #如果没法进入该目录，执行一次ssh localhost
$ ssh-keygen -t rsa　

Após a entrada $ ssh-keygen -t rsadepois da instrução requer três carro de tomada consecutivo, como mostrado abaixo:
Aqui Insert Picture Descrição
em que, o primeiro é para permitir que a chave de transporte armazenadas na posição de repouso, para facilitar a entrada de um comando subsequente (ficha nota). O segundo e terceiro estão determinados senha, pouca correlação. Enter duas vezes após a conclusão da entrada, se a saída é semelhante ao mostrado na figura, ou seja, o sucesso:
Aqui Insert Picture Descrição
qual arquivo id_rsa a chave privada (privite Key), id_rsa.pub chave pública (chave pública). As duas chaves são por padrão no diretório ~ / .ssh /, vá para o diretório com $ cd ~ / .ssh / comando. Em seguida, digite:

$ cat ./id_rsa.pub >> ./authorized_keys      #将id_rsa.pub追加到授权的key中，创建authorized_keys文件
$ chmod 600 authorized_keys       #修改authorized_keys的权限为：拥有者读写权
$ ssh localhost

Desta vez não precisa de uma senha para entrar no localhost, e pode ser visto abaixo. Se isso falhar, você pode repetir os passos acima, ou procure "senha-livre de login SSH" para procurar respostas.
Aqui Insert Picture Descrição
Repita os passos em cada computador 1,6 (SSH instalado, o SSH sem senha), e para alcançar id_rsa.pub authorized_keys gerar um público e Slave02 em Slave01 respectivamente. Em seguida, os seguintes comandos são executados nos dois nós filhos:

$ scp miles@Master:~/.ssh/id_rsa.pub ./master_rsa.pub        #将Master上的公钥id_rsa.pub复制到子节点上，并命名为master_rsa.pub

Aparecerá a seguinte imagem, responder "sim" e senha milhas do usuário.

$ cat master_rsa.pub >> ./authorized_keys            #将master_rsa.pub追加到子节点上授权的key中

Voltar ao nó mestre mestre, digite o comando $ ssh Slave01para testar se pode ligar-se directamente. Neste ponto, você pode ligar-se directamente encontrado nó dois Slave Master (sem senha).
Q: Como é que a senha para entrar entre os nós escravo?

II. Jdk8 Instalação

Sobre o pacote baixado, consulte https://www.cnblogs.com/gbyukg/p/3326825.html
off 2018/11/08 encontrado Hadoop3.1.1 não suporta as últimas jdk11
computadores dentro das necessidades do sistema Hadoop para ser instalado . Em primeiro site oficial da Oracle para baixar e instalar a próxima jdk8 http://www.oracle.com/technetwork/java/javase/downloads/index.html configuração variável de ambiente, selecione a versão correspondente de sistemas de PC com base em, eu escolhi jdk- 8u191-linux-x64.tar.gz

$ sudo mkdir /usr/lib/jvm           #创建jvm文件夹
$ sudo tar -zxvf Downloads/jdk-8u191-linux-x64.tar.gz -C /usr/lib/jvm
                      #解压到/usr/lib/jvm目录下，jdk下载后默认路径为~/Downloads中
$ cd /usr/lib/jvm                           #进入该目录
$ sudo mv  jdk1.8.0_191 java                #将jdk1.8.0_191目录重命名为java
$ vim ~/.bashrc                             #给JDK配置环境变量

Nota:

  1. Onde se a permissão não é suficiente para criar a pasta JVM, você pode usar sob o diretório relevante $ sudo -icomando para entrar a conta root para criar a pasta.
  2. Também recomenda-se usar o vim para variáveis de ambiente de edição, se não for instalado, utilizado $sudo apt-get install vimpara instalar.
    Adicione a seguinte instrução no arquivo final .bashrc:
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

Tais como:
Aqui Insert Picture Descrição
Após a modificação do arquivo estiver concluída, digite o comando:

$ source ~/.bashrc                       #使新配置的环境变量生效
$ java -version                             #检测是否安装成功，查看java版本

Se o conteúdo aparece como mostrado abaixo, é a instalação bem-sucedida.
Aqui Insert Picture Descrição

III. Instalação hadoop-3.1.1

Computadores dentro das necessidades do sistema Hadoop para ser instalado.
Hadoop-3.1.1.tar.gz pode baixar a partir http://mirrors.hust.edu.cn/apache/hadoop/common/, instalação:

$ sudo tar -zxvf  hadoop-3.1.1.tar.gz -C /usr/local       #解压到/usr/local目录下
$ cd /usr/local
$ sudo mv  hadoop-3.1.1   hadoop      #将hadoop-3.1.1目录重命名为hadoop
$ sudo chown -R miles ./hadoop        #修改文件权限，属于用户miles

Hadoop para configurar as variáveis de ambiente, use o $ vim ~/.bashrccomando, adicione o seguinte código para o arquivo .bashrc:

export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

Como mostrado abaixo
Aqui Insert Picture Descrição
realizar source ~/.bashrcas configurações tenham efeito. Em seguida, use $ hadoop versiono comando para Hadoop instalado com sucesso, se bem sucedido, ele retorna as seguintes informações, como mostrado na FIG.
Aqui Insert Picture Descrição

modo de operação quatro. Hadoop

cluster do Hadoop operativo tem três modos, a saber:

  1. Modo / autônomo local: Por padrão, este modo é utilizado para a execução de programas Java.
  2. O modo de simulação distribuída (também chamado de padrão pseudo-distribuição): distribuído simulação em um computador. Hadoop guardião de cada processo, incluindo hdfs, fios, MapReduce, etc., como um programa Java stand-alone para correr, para uso de desenvolvimento.
  3. Totalmente distribuída: várias computadores em um conjunto de dois ou mais (incluindo) o uso de Hadoop, adequada para o uso prático. Como aqui utilizado, o modo.
    Além disso, o Hadoop 2.x e Hadoop 3.x variam, leia "big data Hadoop2.x Hadoop3.x comparação com o que muda", um texto (https://blog.csdn.net/wshyb0314/article/details / 82184680). Em que, o número de porta utilizado, por padrão eles são diferentes, como se mostra na tabela a seguir.
    Aqui Insert Picture Descrição

V. configuração totalmente distribuído

5.1 Crie um diretório (somente disposta na Master)
para criar e dfs em hadoop usuário do diretório tmp (nome de usuário Milhas) foram utilizadas como o principal armazenamento de dados de diretório e de câmbio, e cria um subdiretório com o nome e os dados do DFS comando de diretório é o seguinte:

$ mkdir -p ~/dfs/name       #在普通用户主目录下同时创建dfs目录及其子目录name
$ mkdir ~/dfs/data         #创建dfs的子目录data
$ mkdir ~/tmp               #在普通用户主目录下创建目录tmp

5.2 modificar o arquivo de configuração do
caminho do perfil (conjunto de acordo HADOOP_HOME) de / usr / local / hadoop / etc / hadoop / diretório para o diretório.

$ cd /usr/local/hadoop/etc/hadoop/

  1. Execução $ sudo vim workers, adicionar o nome de host para três computadores.

  2. Execução $ sudo vim core-site.xml, o documento final vai <configuration> </configuration>ser substituído

<configuration>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://Master:9000</value>
        </property>
        <property>
              <name>hadoop.tmp.dir</name>
              <value>/home/miles/tmp</value>
         </property>
</configuration>
  1. Execução $ sudo vim hadoop-env.sh, definir a instalação JAVA_HOME JDK.
    casa Java: o JAVA_HOME = / usr / lib / JVM / Java
    do diretório home Hadoop: HADOOP_HOME = / usr / local / hadoop ( não definido)
    como segue:
    Aqui Insert Picture Descrição
  2. A implementação do $ sudo vim hdfs-site.xmldocumento final para substituir
<configuration>
        <property>
            <name>dfs.namenode.http-address</name>
             <!-- Master为当前机器名或者IP地址 -->
             <value>hdfs://Master:9001</value>
        </property>
        <property>
              <name>dfs.namenode.name.dir</name>
              <!-- 以下为存放节点命名的路径 -->
              <value>/home/miles/dfs/name</value>
         </property>
        <property>
              <name>dfs.datanode.data.dir</name>
              <!-- 以下为存放数据命名的路径 -->
              <value>/home/miles/dfs/data</value>
        </property>
        <property>
              <name>dfs.replication</name>
              <!-- 备份次数，因为有2台DataNode-->
              <value>2</value>
         </property>
        <property>
              <name>dfs.webhdfs.enabled</name>
              <!-- Web HDFS-->
              <value>true</value>
         </property>
</configuration>
  1. Execução $ sudo vim mapred-site.xml, o documento final vai <configuration> </configuration>ser substituído
<configuration>
        <property>
            <name>mapreduce.framework.name</name>
             <!-- MapReduce Framework -->
             <value>yarn</value>
        </property>
        <property>
              <name>mapreduce.jobhistory.address</name>
              <!-- MapReduce JobHistory, 当前计算机的IP -->
              <value>Master:10020</value>
         </property>
        <property>
              <name>mapreduce.jobhistory.webapp.address</name>
              <!-- MapReduce Web App JobHistory, 当前计算机的IP -->
              <value>Master:19888</value>
        </property>
        <property>
              <name>yarn.app.mapreduce.am.env</name>
              <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
        </property>
        <property>
              <name>mapreduce.map.env</name>
              <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
        </property>
              <name>mapreduce.reduce.env</name>
              <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
        </property>
</configuration>
  1. Execução $ sudo vim yarn-site.xml, o documento final vai <configuration> </configuration>ser substituído
<configuration>
 <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
             <!-- Master为当前机器名或者ip号 -->
             <value>Master</value>
        </property>
        <property>
              <name>yarn.nodemanager.aux-services</name>
              <!-- Node Manager辅助服务 -->
              <value>mapreduce_shuffle</value>
         </property>
        <property>
              <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
              <!-- Node Manager辅助服务类 -->
              <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
              <name>yarn.nodemanager.resource.cpu-vcores</name>
              <!-- CPU个数，需要根据当前计算机的CPU设置-->
              <value>2</value>
         </property>
        <property>
              <name>yarn.resourcemanager.admin.address</name>
              <!-- Resource Manager管理地址 -->
              <value>Master:8033</value>
         </property>
        <property>
              <name>yarn.resourcemanager.webapp.address</name>
              <!-- Resource Manager Web地址 -->
              <value>Master:8088</value>
         </property>
</configuration>

VI. Copie o arquivo de configuração do Hadoop

Após a configuração do mestre, a necessidade de copiar os arquivos de configuração Slave Master / usr / local / hadoop (HADOOP_HOME) de diretório para todos os nós. Primeiro, execute o seguinte comando no Master:

$ cd /usr/local
$ sudo rm -r ./hadoop/tmp		#删除Hadoop临时文件
$ sudo rm -r ./hadoop/logs/*		#删除Hadoop日志文件
$ tar -zcf ~/hadoop.master.tar.gz ./hadoop		#将Hadoop的配置目录压缩成一个文件到用户主目录下
$ cd ~
$ scp ./hadoop.master.tar.gz miles@Slave01:~/	#将压缩包文件复制到Slave01主机上miles用户的主目录下

Em seguida, os seguintes comandos no nó Escravo:

$ sudo rm -r /usr/local/hadoop	#删除原来的Hadoop文件和目录
$ sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local	#解压缩都/usr/local目录中
$ sudo chown -R miles /usr/local/hadoop	    #修改/usr/local/hadoop目录的拥有者为Hadoop用户miles

VII. Iniciar Hadoop

1. Inicie HDFS
● inicialização NameNode
Master é namenode, Escravo é DataNode, por isso só precisa ser formatado em HDFS Mestre, o seguinte comando:

$ hdfs namenode -format                     #初始化namenode

A formatação irá produzir várias peças de informação, em que a terceira linha se houver
...... Armazenamento diretório / home / milhas / hdfs / nome foi formatado com sucesso, então a formatação sucesso HDFS.
No retorno de erro "Saindo com status de 0" for bem sucedida, "Saindo com status de 1" para o fracasso.
● Teste início HDFS
execute o seguinte comando no mestre

$ start-dfs.sh                      #启动dfs
$ start-yarn.sh                    #启动yarn
$ mapred --daemon start historyserver		#启动historyserver，它不是必须的步骤

Executada no mestre $jpsde comando, você pode ver cinco processos.

NameNode
SecondaryNameNode
NodeManager
ResourceManager
Jps
JobHistoryServer

Realizada no Slave $jpscomando, você pode ver três processos.

DataNode
NodeManager
Jps

Nota : A falta de qualquer processo expressaram um erro. Pode ser acessado através de um navegador http: // Master: 9870 (Hadoop3) ou http: // Master: 50070 (Hadoop2 ) View Log Logs, ou o nome do nó e de dados nós.
2. Verifique os casos de cluster Hadoop
executadas no Mestre $ hdfs dfsadmin -reportde comando para ver se o nó de dados é iniciado normalmente. Se o início normal, ele retorna a seguinte informação como mostrado na FIG. DataNodes ao vivo que não é zero, o que indica que o cluster iniciado com êxito. A figura que se segue ilustra o agrupamento tem três DataNode.
Aqui Insert Picture Descrição
Você também pode digitar no browser http: // mestre: 9870 ou o endereço IP http://192.168.1.10:9870, ver o estado do cluster Web, como mostrado abaixo.
Aqui Insert Picture Descrição

Oito. Testes plataforma Hadoop

  • WordCount
    no diretório de instalação do Hadoop (/ usr / local / hadoop / ), fornece uma --WordCount programa de contagem de palavras. programa WordCount execução no Hadoop plataforma de computação, aproveitando MapReduce e HDFS. Ele pode contar o número de vezes que a palavra aparece no arquivo e, em seguida, dá resultados estatísticos. Nós WordCount executando um programa que pode detectar se a plataforma Hadoop para funcionar adequadamente.
    1 para estabelecer o diretório apropriado e os arquivos de texto correspondentes no HDFS. No diretório home (/ home / milhas /) criar uma entrada de pasta e digite a entrada de pasta, execute o seguinte comando:
$ mkdir /home/miles/input
$ cd /home/miles/input

File01 criar documentos e file02, e grava o conteúdo a ser contadas são ordenados da seguinte forma:

$ echo "hello world bye world" > file01           #写内容到文件file01中
$ echo "hello hadoop goodbye hadoop" >file02      #写内容到文件file02中

2 Criar uma entrada de diretório no HDFS, o file01 e file02 enviado para a entrada de hdfs diretório, execute o seguinte comando

$ cd /home/miles/input
$ hadoop fs -mkdir /hadoopusers/miles/input            #创建HDFS的/hadoopusers/miles/input目录
$ hadoop fs -put * /hadoopusers/miles/input             #将/home/miles/input目录下的文件上传到HDFS的/hadoopusers/miles/input目录
$ hadoop fs -ls /hadoopusers/miles/input                  #/查看HDFS的/hadoopusers/miles/input目录下文件的状态

Quando o visor do terminal:

-rw-r--r--   4 miles supergroup         22 2018-11-09 21:43 input/file01
-rw-r--r--   4 miles supergroup         28 2018-11-09 21:43 input/file02

Isso significa que os arquivos enviados para o sucesso HDFS.
3 Run WordCount programa de
entrada (conjunto de acordo HADOOP_HOME) de / usr / local / hadoop / etc / hadoop // share / Hadoop / MapReduce diretório. WordCount em seguida, executar o programa, o seguinte comando

#进入目录   
$ cd /usr/local/hadoop/share/hadoop/mapreduce
#执行Wordcount程序
$ hadoop jar hadoop-mapreduce-examples-3.1.1.jar wordcount /hadoopusers/miles/input  /hadoopusers/miles/output

Nota : A saída deve ser um novo em um diretório vazio.
Exploração do terminal vai gerar mais sistema de informação, se a seguinte informação é exibida:

18/11/09 21:56:18 INFO mapreduce.Job:  map 0% reduce 0%
18/11/09 21:56:29 INFO mapreduce.Job:  map 100% reduce 0% 
18/11/09 21:56:38 INFO mapreduce.Job:  map 100% reduce 100%
18/11/09 21:56:38 INFO mapreduce.Job: Job job_1410242637907_0001 completed successfully
18/11/09 21:56:38 INFO mapreduce.Job: Counters: 43

Mostrar programa executou uma modo de programação MapReduce distribuído durante a operação.
4 resultados operacionais saída do programa
após WordCount execução do programa for concluído, os resultados da pesquisa será a saída para um arquivo HDFS parte-r-00000 sob o diretório de saída. Digite o seguinte comando para visualizar a palavra estatísticas.

$ hadoop fs -cat /hadoopusers/miles/output/part-r-00000

O terminal de saída do visor do terminal:

bye      1
goodbye  1
hadoop   2
hello     2
world    2

Podemos ver os resultados, clusters Hadoop pode contar com sucesso o número de arquivos file01 e file02 cada palavra aparece, indicando que a plataforma Hadoop pode ser executado com êxito.
Q: Como eu sei, para configurar e modificar o usuário hadoop diretório padrão?

  • informações de cluster Ver Hadoop

Durante a execução, digite no navegador http: // mestre: 8088 ou http://192.168.1.10:8080, visualizar as informações de cluster Hadoop através da interface Web, como mostrado abaixo.
Aqui Insert Picture Descrição
cluster do Hadoop descritos acima são adequadamente iniciada. Se você precisa fechar o cluster Hadoop, você pode executar comandos no Master:

$ stop-yarn.sh
$ stop-dfs.sh
$ mapred --daemon stop historyserver		#关闭历史记录服务

Q: Auto utilização de encaixe (recipiente) na forma de configuração de cluster Hadoop de acordo com a presente experiência.

IX. Erro

  1. “2018-10-30 13:30:40,855 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable”
    No arquivo / etc / profile, adicione a seguinte configuração:
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

Validar a configuração:$ source /etc/profile

  1. Antes de começar de novo se Hadoop, mas agora não pode iniciar corretamente, especialmente quando DataNode não iniciar. Você pode excluir o nome do cluster nome armazenado em Mestre, o nome do arquivo de dados, execute o seguinte comando:
 $ rm -r /home/miles/hdfs/name/*
 $ rm -r /home/miles/hdfs/data/*

E todos os arquivos temporários, incluindo mestre e escravo, incluindo todos os nós, execute o seguinte comando:

$ rm -r /home/miles/tmp/*

Na re-executar $ hdfs namenode -formato comando, re-formatar o cluster do Hadoop.

3. Se você encontrar o seguinte erro: " java.net.ConnectException: Call From Master/192.168.1.10 to Master:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused" causa provável é ResourceManager não foi iniciado.

Referências

  1. Apache Hadoop 3.1.1 documentos oficiais https://hadoop.apache.org/docs/r3.1.1/
  2. Hadoop Cluster instalar a versão em Inglês https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html
  3. Hadoop 3.x nova análise características https://www.cnblogs.com/smartloli/p/9028267.html
  4. xfce4 e vncserver configuração https://www.howtoing.com/how-to-install-and-configure-vnc-on-ubuntu-18-04
  5. Ubuntu16.04 HADOOP a instalação e configuração (ambiente distribuído pseudo) https://www.cnblogs.com/87hbteo/p/7606012.html
  6. Setup Hadoop Cluster totalmente distribuído https://blog.csdn.net/u014636511/article/details/80171002
  7. Hadoop3.1.0 totalmente distribuído implantação conjunto de ficha de ultra-detalhado https://blog.csdn.net/weixin_42142630/article/details/81837131
  8. Hadoop3.1.0 totalmente distribuído implantação conjunto de ficha de ultra-detalhado https://blog.csdn.net/dream_an/article/details/80258283?utm_source=blogxgwz0
  9. ambiente Hadoop para construir (stand-alone) https://blog.csdn.net/qazwsxpcm/article/details/78637874?utm_source=blogxgwz0
  10. versão estável Hadoop3.0 da instalação e implantação https://blog.csdn.net/rlnLo2pNEfx9c/article/details/78816075
miles_ye
Publicado 10 artigos originais · ganhou elogios 1 · vista 1221
carta particular preocupações

Acho que você gosta

Origin blog.csdn.net/miles_ye/article/details/101210775
Recomendado
Clasificación
Diario
Más
2024-05-28(0)
2024-05-27(0)
2024-05-26(0)
2024-05-25(0)
2024-05-24(11)
2024-05-23(35)
2024-05-22(9)
2024-05-21(34)
2024-05-20(5)
2024-05-19(0)

Code World

© 2018 codetd.com