完全分散型のHadoopは何地獄ですか?!Hadoopのが出ている(4)

01 sshのフリーインストール近いです

02 JDKのインストール

03 Hadoopの疑似分散インストール

それが行われている疑似分散インストールの前には、完全インストールの面で今日配布さ。その前に、すべてのノードと名前ノードのデータノードノードが単一のサーバー上に置きました。今日は配置されている各ノードを分離する必要があります。

レディ

node01(192.168.146.101):マスタノード名前ノード

node02で(192.168.146.102):名前ノードのノードから、ノードデータ

node03の(192.168.146.103):データノード

node04(192.168.146.104):データノード

Hadoopのプロフィール

ロールに対応する処理は、この擬似分散及びそれをインストール指定します。

CDの/usr/hadoop-3.1.2/etc/hadoop

我々はhadoop-env.sh

輸出JAVA_HOME =は/ usr / javaの/ JDK-12.0.1

輸出HDFS_NAMENODE_USER =ルート

輸出HDFS_DATANODE_USER =ルート

輸出HDFS_SECONDARYNAMENODE_USER =ルート

コア-site.xmlファイルの変更、これはコンフィギュレーション・マスターである、あなたは一時的なファイルアクセスポートの位置とメイン名前ノードのノードを指定する必要があります。HDFSの初期化時間を行うには、文書をフォーマットされます。

Iハート-site.xmlの

<設定>

<プロパティ>

<名前> fs.defaultFS </名前>

<値> HDFS:// node01:9820 </ value>の

</プロパティ>

<プロパティ>

<名前> hadoop.tmp.dir </名前>

<値>は/ var / Hadoopの/フル</ value>の

</プロパティ>

</設定>

HDFS-site.xmlファイルの変更、上記ノード2 secondarynamenodeのとnode02に定義されるように、ノード定義データの数。

VI HDFS-site.xmlの

<設定>

<プロパティ>

<名前> dfs.replication </名前>

<値> 2 </値>

</プロパティ>

<プロパティ>

<名前> dfs.namenode.secondary.httpアドレス</名前>

<値>とnode02:9868 </ value>の

</プロパティ>

</設定>

私は以下の/usr/hadoop-3.1.2上のHadoopのファイルをインストールし、上記の各サーバにHadoopのファイルをコピーします。彼らは彼ら自身のディレクトリに応じて調整します。

CDの/usr/hadoop-3.1.2

SCP -rのHadoop-3.1.2 / node01:/usr/hadoop-3.1.2/

SCP -rのHadoop-3.1.2 / node02で:/usr/hadoop-3.1.2/

SCP -rのHadoop-3.1.2 / node03の:/usr/hadoop-3.1.2/

SCP -rのHadoop-3.1.2 / node04:/usr/hadoop-3.1.2/

Hadoopのを開始します

ディレクトリのHadoop実行中のbinとsbinにディレクトリへのstartコマンド必要があるため。利便性のために我々は、環境変数でこれらの2つのディレクトリを追加します。

viのは/ etc / profile

輸出JAVA_HOME =は/ usr / javaの/ JDK-12.0.1

輸出PATH = $ JAVA_HOME / binに:$ PATHに

輸出CLASSPATH =。$のJAVA_HOME / JRE / libに/内線:/ $ JAVA_HOME / libに/ tools.jarを

輸出HADOOP_HOME =は/ usr / Hadoopの-3.1.2

PATH = $ PATH:$のJAVA_HOME / binに:$ HADOOP_HOME / binに:$ HADOOP_HOME / sbinに

3台の他のサーバーに分散

SCPは/ etc / profileとnode02:の/ etc /

SCPは/ etc / profile node03の:の/ etc /

SCPは/ etc / profile node04:の/ etc /

サーバーごとにこれらのファイルを再読み込み

ソースは/ etc / profile

フォーマットは、4台のサーバー上の名前ノード、およびHadoopのサービスを開始します。

HDFS名前ノード-format

start-dfs.sh

http://192.168.146.101:9870を入力し、コンソールを入力します。

完全分散型のHadoopは何地獄ですか? ! Hadoopのが出ている(4)

 

 

次の3つのデータノードがある見ることができます

完全分散型のHadoopは何地獄ですか? ! Hadoopのが出ている(4)

 

 

具体的にどのような3つのノードを見て?

完全分散型のHadoopは何地獄ですか? ! Hadoopのが出ている(4)

 

 

私たちはnode03の、node04、node02で定義されています

上記実行している各サーバーの状況を見てみましょう

JPS

完全分散型のHadoopは何地獄ですか? ! Hadoopのが出ている(4)

 

 

完全分散型のHadoopは何地獄ですか? ! Hadoopのが出ている(4)

 

 

完全分散型のHadoopは何地獄ですか? ! Hadoopのが出ている(4)

 

 

完全分散型のHadoopは何地獄ですか? ! Hadoopのが出ている(4)

 

 

完全にこの構成に配布は完了です。

高度の記事を読んでお勧めします

ビッグデータのエンジニアは、7の概念を理解する必要があります

クラウドコンピューティングの未来とビッグデータファイブ動向

すぐに大規模なデータの独自の知識を構築する方法

おすすめ

転載: blog.csdn.net/tttttt012/article/details/91466359