Hadoopクラスタ(インストール、設定、テスト)

注:Hadoopクラスタ3台の仮想マシンは、ホスト名は次のとおりです。hadoop01、hadoop02、hadoop03

A、Hadoopクラスタのインストール

1.標準操作、フォルダを作成します。

CD /エクスポート/

CD /エクスポート/データ/

CD /エクスポート/サーバ/

CD /エクスポート/ソフトウェア/

 

JDK、Hadoopのダウンロード2.:

JDKます。https://www.oracle.com/technetwork/java/javase/downloads/index.html

Hadoopをします。https://hadoop.apache.org/releases.html

/エクスポート/ソフトウェア/ディレクトリにインストールパッケージ

 

3. JDK、Hadoopのをインストールします。

CD /エクスポート/ソフトウェア/

タール-zxvf(JDK)-C /エクスポート/サーバ/

タール-zxvf(Hadoopの)-C /エクスポート/サーバ/

 

4. JDKの名前を変更し、Hadoopのを操作しやすいです。

CD /エクスポート/サーバ/

MV {JDK} / JDK

MV {}のHadoop / Hadoopの

 

5. JDKの設定、Hadoopの環境変数:

viのは/ etc / profile

  輸出JAVA_HOME = /エクスポート/サーバ/ JDK
  輸出PATH = $ PATH:$ JAVA_HOME / binに
  輸出CLASSPATH =。$ JAVA_HOME / libに/ dt.jar:$ JAVA_HOME / libに/ tools.jarを

  輸出HADOOP_HOME = /エクスポート/サーバ/ Hadoopの
  輸出PATH = $ PATH:$ HADOOP_HOME / binに:$ HADOOP_HOME / sbinに

 

6.再起動し、有効にする非再起動:

再起動します:再起動

非再起動:ソースは/ etc / profile

 

 

二、Hadoopクラスタの設定

マスターノードのソリューションは、Hadoopの圧縮/などを入力します。1. /パケット/ディレクトリをHadoopの

 

2. [変更hadoop-env.shファイル:( JDKの環境変数は、Hadoopの設定を実行するために必要な、目的は、Hadoopのデーモンが起動時に実行できるようにすることです)

我々/hadoop-env.sh

  輸出JAVA_HOME = /エクスポート/サーバ/ JDK

 

3.core-site.xml構成ファイル:(ホスト、Hadoopのクラスタを実行するメイン処理名前ノードのHDFSマスターノード位置、Hadoopの実行を設定する際に、一時的なディレクトリデータを生成します)

我々/core-site.xml

  <設定>

    <! - - Hadoopのファイルシステムを設定するためのURIで指定された>  
    <プロパティ>
      <名前> fs.defaultFS </名前>

      <! -名前ノードのhadoop01マシン上のアドレスを指定します- >
      <値> HDFS:// hadoop01:9000 </ value>の
    </プロパティ>

    <! -一時ディレクトリのHadoopの設定、デフォルトの/ tmp / Hadoopの- user.name} {$ - >
    <プロパティ>
      <名前> hadoop.tmp.dir </名前>
      <値> /エクスポート/サーバ/ Hadoopの/ TMP </ value>の

    </ property>の
  </設定>

 

4.変更HDFS-site.xml構成ファイル:(データ・ブロックのコピーHDFS数は、デフォルト値は3であり、HTTPプロトコルが提供されるサービスURLセカンダリ名前ノード)

我々/hdfs-site.xml

  <設定>

    <! -指定HDFS副本的数量- >
    <プロパティ>
      <名前> dfs.replication </名前>
      <値> 3 </ value>の
    </ property>の

    <! - -ホスト二次名前ノードのIPとポート>
    <プロパティ>
      <名前> dfs.namenode.secondary.httpアドレス</名前>
      50090 </ value>の<値> hadoop02
    </プロパティ>
  </設定>

 

5.変更mapred-site.xmlファイル:(のMapReduce Hadoopが)糸のためのフレームワークを操作して指定します

CP mapred-site.xml.template mapred-site.xmlに

我々/mapred-site.xml

  <設定>

    <! -指定のMapReduceランタイム・フレームワークがYARNに、本明細書に指定された、デフォルトのローカル- >
    <プロパティ>
      <名前> mapreduce.framework.name </名前>
      <値>糸</ value>の
    </プロパティ>
  < /設定>

 

6.変更糸-site.xml構成ファイル:( YARNのResourceManagerマスタープロセスホストhadoop01を実行し、構成するノードマネージャの実行時に補助的なサービスは、あなたが通常のMapReduceを実行するために、既定のプログラムmapreduce_shuffleを設定する必要があります)

我々/yarn-site.xml

  <設定>

    <! - YARNマネージャ指定されたクラスタ(のResourceManager)アドレス - >

    <プロパティ>

      <名前> yarn.resourcemanager.hostname </名前>
      <値> hadoop01 </ value>の
    </ property>の
    <プロパティ>
      <名前> yarn.nodemanager.aux-サービス</名前>
      <値> mapreduce_shuffle </ value>の
    < /プロパティ>

  </設定>

 

7.変更奴隷ファイル:(開始するためのキーを持つノードのすべてのHadoopクラスタのホスト名、からのレコード、デフォルトのコンテンツを削除する必要があります)

我々/スレーブ

  hadoop01
  hadoop02
  hadoop03

 

8.マスターノードクラスタ構成ファイルは、他の子ノードに配布します:

SCPは/ etc / profileのhadoop02:/ etc / profileを

SCPは/ etc / profileのhadoop03:/ etc / profileを

SCP -r /エクスポート/ hadoop02:/

SCP -r /エクスポート/ hadoop03:/

 

9.子ノードは、リフレッシュ命令です。

ソースは/ etc / profile

 

 

三、Hadoopクラスタのテスト

1.フォーマットファイルシステム:

HDFS名前ノード-format

OR

Hadoopの名前ノード-format

 

2.起動とシャットダウンHadoopクラスタ:1つのノードの起動とシャットダウンずつ

(1)プライマリノードの起動およびシャットダウン処理HDFS名前ノード

hadoop-daemon.sh開始名前ノード

hadoop-daemon.shストップ名前ノード

ノードHDFSデータノード(2)から起動およびシャットダウン処理

hadoop-daemon.shスタートデータノード

hadoop-daemon.shストップデータノード

 (3)プライマリノードの起動およびシャットダウン処理糸のResourceManager

yarn-deamon.shのResourceManagerを開始

yarn-deamon.sh停止のResourceManager

(4)ノード糸ノードマネージャから起動およびシャットダウンプロセス

yarn-deamon.shノードマネージャを起動します

yarn-deamon.sh停止ノードマネージャ

(5)計画hadoop02ノードの起動とシャットダウンプロセスSecondaryNameNode

hadoop-daemon.shスタートsecondarynamenode

hadoop-daemon.shストップsecondarynamenode

 

3.起動とシャットダウンのHadoopクラスタ:起動とシャットダウンを開始するためのキー

(1)プライマリノードの起動と停止は、すべてのHDFSサービスを処理します

start-dfs.sh

stop-dfs.sh

すべてのサービスプロセスの(2)プライマリノードの起動と停止YARN

start-yarn.sh

stop-yarn.sh

おすすめ

転載: www.cnblogs.com/-StarrySky-/p/11904648.html