Hadoopスタディノート_2:環境構築(JDK + Hadoop)

環境設定

  • 仮想マシンのクローン作成と静的IP構成(参照構成として以下のブログ投稿を参照できます)

  • ではopt、新しいディレクトリmodulesoftwareフォルダ。解凍されたファイルと圧縮されたファイルパッケージを別々に保存します。
    ここに画像の説明を挿入
    ここに画像の説明を挿入

  • JDKインストール構成

    ## 解压jdk压缩包
    tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
    ## 进入/etc/profile 配置环境变量
    vim /etc/profile
    ## 文件末尾写入配置
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    export PATH=$PATH:$JAVA_HOME/bin
    ## 重新加载Profile文件
    source /etc/profile
    ## 查看jdk安装情况
    $ java -version
    java version "1.8.0_144"
    Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
    Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
    
  • Hadoopインストール構成

    ## 解压hadoop压缩包
    tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
    ## 进入/etc/profile 配置环境变量
    vim /etc/profile
    ## 文件末尾写入配置
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    ## 重新加载profile文件
    source /etc/profile
    ## 查看Hadoop安装情况
    $ hadoop
    Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
      CLASSNAME            run the class named CLASSNAME
     or
      where COMMAND is one of:
      fs                   run a generic filesystem user client
      version              print the version
      jar <jar>            run a jar file
                           note: please use "yarn jar" to launch
                                 YARN applications, not this command.
      checknative [-a|-h]  check native hadoop and compression libraries availability
      distcp <srcurl> <desturl> copy file or directories recursively
      archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
      classpath            prints the class path needed to get the
      credential           interact with credential providers
                           Hadoop jar and the required libraries
      daemonlog            get/set the log level for each daemon
      trace                view and modify Hadoop tracing settings
    
    Most commands print help when invoked w/o parameters.
    

    / etc / profileに環境変数を追加した後は、ソース/ etc / profileでコンパイルした後、現在の端末でのみ有効になります。端末を再起動すると、環境変数は無効になり、システムの再起動後に解決できます。

    最終的な構成/etc/profileファイルスクリーンショットは次のとおりです。
    ここに画像の説明を挿入
    重要なディレクトリ:

    [root@localhost hadoop-2.7.2]# ll
    总用量 28
    drwxr-xr-x 2 root root   194 5月  22 2017 bin
    drwxr-xr-x 3 root root    20 5月  22 2017 etc
    drwxr-xr-x 2 root root   106 5月  22 2017 include
    drwxr-xr-x 3 root root    20 5月  22 2017 lib
    drwxr-xr-x 2 root root   239 5月  22 2017 libexec
    -rw-r--r-- 1 root root 15429 5月  22 2017 LICENSE.txt
    -rw-r--r-- 1 root root   101 5月  22 2017 NOTICE.txt
    -rw-r--r-- 1 root root  1366 5月  22 2017 README.txt
    drwxr-xr-x 2 root root  4096 5月  22 2017 sbin
    drwxr-xr-x 4 root root    31 5月  22 2017 share
    
    • binディレクトリ:Hadoop関連サービス(HDFS、YARN)を操作するためのスクリプトを保存します
    • etcディレクトリ:Hadoop構成ファイルディレクトリ、Hadoop構成ファイルを保存
    • libディレクトリ:Hadoopローカルライブラリを保存します(データの圧縮と解凍)
    • sbinディレクトリ:Hadoop関連サービスを開始または停止するためのスクリプトを保存します
    • 共有ディレクトリ:Hadoopに依存するjarパッケージ、ドキュメント、および公式ケースを保存します

おすすめ

転載: blog.csdn.net/Nerver_77/article/details/107133584