Notas de estudo do Hadoop _2: construção do ambiente (JDK + Hadoop)

Configuração de ambiente

• Clonagem de máquina virtual e configuração de IP estático (você pode consultar a postagem do blog listada abaixo como uma configuração de referência)

  • Precauções mínimas de instalação do CentOS 7 e instalação de alguns componentes de pré-requisito

  • CentOS7 configurar IP-1 estático

  • CentOS7 configurar IP-2 estático

  • Como clonar uma máquina virtual instalada VMware clone uma máquina virtual

  • XShell carrega arquivos para Linux - instale lrzsz

• Em opt, um novo diretório module, softwarepasta. Armazene os arquivos descompactados e os pacotes de arquivos compactados separadamente.
  
  

• JDKConfiguração de instalação

  ## 解压jdk压缩包
  tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
  ## 进入/etc/profile 配置环境变量
  vim /etc/profile
  ## 文件末尾写入配置
  export JAVA_HOME=/opt/module/jdk1.8.0_144
  export PATH=$PATH:$JAVA_HOME/bin
  ## 重新加载Profile文件
  source /etc/profile
  ## 查看jdk安装情况
  $ java -version
  java version "1.8.0_144"
  Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
  Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
  

• HadoopConfiguração de instalação

  ## 解压hadoop压缩包
  tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
  ## 进入/etc/profile 配置环境变量
  vim /etc/profile
  ## 文件末尾写入配置
  export HADOOP_HOME=/opt/module/hadoop-2.7.2
  export PATH=$PATH:$HADOOP_HOME/bin
  export PATH=$PATH:$HADOOP_HOME/sbin
  ## 重新加载profile文件
  source /etc/profile
  ## 查看Hadoop安装情况
  $ hadoop
  Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
    CLASSNAME            run the class named CLASSNAME
   or
    where COMMAND is one of:
    fs                   run a generic filesystem user client
    version              print the version
    jar <jar>            run a jar file
                         note: please use "yarn jar" to launch
                               YARN applications, not this command.
    checknative [-a|-h]  check native hadoop and compression libraries availability
    distcp <srcurl> <desturl> copy file or directories recursively
    archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
    classpath            prints the class path needed to get the
    credential           interact with credential providers
                         Hadoop jar and the required libraries
    daemonlog            get/set the log level for each daemon
    trace                view and modify Hadoop tracing settings
  
  Most commands print help when invoked w/o parameters.
  

  Depois de adicionar uma variável de ambiente em / etc / profile, ela só pode ter efeito no terminal atual após compilar com a fonte / etc / profile.Após reiniciar um terminal, a variável de ambiente se torna inválida e pode ser resolvida após reiniciar o sistema.

  A /etc/profilecaptura de tela do arquivo de configuração final é:
  
  diretório importante:

  [root@localhost hadoop-2.7.2]# ll
  总用量 28
  drwxr-xr-x 2 root root   194 5月  22 2017 bin
  drwxr-xr-x 3 root root    20 5月  22 2017 etc
  drwxr-xr-x 2 root root   106 5月  22 2017 include
  drwxr-xr-x 3 root root    20 5月  22 2017 lib
  drwxr-xr-x 2 root root   239 5月  22 2017 libexec
  -rw-r--r-- 1 root root 15429 5月  22 2017 LICENSE.txt
  -rw-r--r-- 1 root root   101 5月  22 2017 NOTICE.txt
  -rw-r--r-- 1 root root  1366 5月  22 2017 README.txt
  drwxr-xr-x 2 root root  4096 5月  22 2017 sbin
  drwxr-xr-x 4 root root    31 5月  22 2017 share
  

  • diretório bin: armazenar scripts para operar serviços relacionados ao Hadoop (HDFS, YARN)
  • diretório etc: diretório do arquivo de configuração do Hadoop, armazenando arquivos de configuração do Hadoop
  • diretório lib: armazenar a biblioteca local do Hadoop (compactar e descompactar dados)
  • diretório sbin: armazene scripts para iniciar ou parar serviços relacionados ao Hadoop
  • diretório de compartilhamento: armazene pacotes jar dependentes do Hadoop, documentos e casos oficiais