同じマシン上に---のResourceManager Hadoopクラスタのインストールと名前ノードではありません

1.仮想マシンをコピーして、5つのセットを行います。

1:名前ノード

2:secondardNameNode、このResourceManager

3,4,5:データノード

 

図2に示すように、修飾されたカードの設定、接続のSecureCRT

 

ユーザー---------- ---------ルート----

3、日付の表示時間

4、ブーツにntpdate

chkconfigを--list

chkconfigを--level 12345にntpdateで

 

5、ntpdateを時刻同期

サービスにntpdateの再起動

 

6、JAVA_HOMEを参照してください

エコー$ JAVA_HOME

 

-rw-rを - r--の。2ルートルート158 2010年1月12日のホスト

-rw-rを - r--の。1ルートルート1796 2013年10月2日のプロフィール

図8に示すように、マシンのドメインの各構成

[ルート@ zengmgなど]#viのは/ etc / sysconfig / networkファイル

 

NETWORKING = yesの

HOSTNAME = hadoop1

 

図9に示すように、各構成hostsファイル

コマンドを送信するためにマルチウィンドウ

VIの/ etc / hosts

 

192.168.18.131 hadoop1

192.168.18.132 hadoop2

192.168.18.133 hadoop3

192.168.18.134 hadoop4

192.168.18.135 hadoop5

クラスタが行う方法の数十を持っている場合、//、シェルスクリプトを記述するために?

 

10、ファイアウォールをオフにします

chkconfigをオフiptablesの

サービスのiptablesの停止

 

11、Hadoopのユーザーとパスワードを作成

adduserののHadoopの

passwdのHadoopの

 

12、ユーザプロファイルのルートグループのHadoop

viのは/ etc / sudoersファイル

##根はどこにでも任意のコマンドの実行を許可します

ルートALL =(ALL)ALL

ここに追加します。

HadoopのALL =(ALL)ALL

 

--------------- Hadoopの----ユーザー-----------------------------

1、SSHパスワード無料

hadoop1は名前ノードです。パスワードなしのsshをすることなく、お互いにそれぞれのマシン。限り、他のマシンに近いアクセスを避けることができるhadoop1として

hadoop1機械:

SSH-keygenは-t rsaの

SSH-コピー-IDのhadoop1

SSH-コピー-IDのhadoop2

SSH-コピー-IDのhadoop3

SSH-コピー-IDのhadoop4

SSH-コピー-IDのhadoop5

 

hadoop2機械:

SSH-keygenは-t rsaの

SSH-コピー-IDのhadoop2

SSH-コピー-IDのhadoop3

SSH-コピー-IDのhadoop4

SSH-コピー-IDのhadoop5

 

秘密のsshログインはHadoopのユーザーは無料です。rootユーザーが設定されていない、お互いの秘密のログインを避けることができません。無料ユーザーの秘密は効果的にsshです

 

1、JDKおよびアップロードのHadoop

2、アプリケーションフォルダ建てのホームディレクトリのHadoopインチ (ルートディレクトリ)で/新無権限、rootのみが作成できます。

[Hadoopの@ hadoop1 /] $ます。mkdirアプリケーション

MKDIR:ディレクトリ `アプリケーション 'を作成できません:アクセスが拒否されました

3、抽出Hadoopの、アプリケーションフォルダにJDKアーカイブ

-Cアプリケーションtar圧縮-zxvf

 

4、設定JDK、Hadoopの環境変数

[Hadoopの@ hadoop1など] $ sudoのviのは/ etc / profile

輸出JAVA_HOME = /ホーム/ Hadoopの/アプリケーション/ jdk1.8.0_73

輸出HADOOP_HOME = /ホーム/ Hadoopの/アプリケーション/ Hadoopの-2.7.3

エクスポートパスは$ PATHを=:$ JAVA_HOME / binに:$ HADOOP_HOME / binに/:$ HADOOP_HOME / sbinに

 

5、変数の設定を有効にします

ソースは/ etc / profile

 

6、Hadoopの構成プロファイル

1)、hadoop-env.shシェル構成ファイルJAVAHOME

#使用するJava実装。

輸出JAVA_HOME = /ホーム/ Hadoopの/アプリケーション/ jdk1.8.0_73

なぜあなたは設定したいですか?

何らかの理由で、私は読んでいません

[Hadoopの@ BD01 sbinに] $ start-dfs.sh

[BD01]で起動するnamenodes

BD01:エラー:JAVA_HOMEが設定されていないと見つかりませんでした。

BD05:エラー:JAVA_HOMEが設定されていないと見つかりませんでした。

BD04:エラー:JAVA_HOMEが設定されていないと見つかりませんでした。

BD03:エラー:JAVA_HOMEが設定されていないと見つかりませんでした。

 

 

2)、コアsite.xmlの名前ノード構成ファイルアクセスアドレスとデータ・ストレージ・パス名前ノード

<プロパティ>

<名前> fs.defaultFS </名前>

<値> HDFS:// hadoop1:9000 </ value>の

</プロパティ>

 

<プロパティ>

<名前> hadoop.tmp.dir </名前>

<値> /ホーム/ Hadoopの/ hadoop_data </ value>の

</プロパティ>

 

------以下の構成は、ハイブ真っすぐ設定を訪問することです -

コアのsite.xmlの割り当てを増やすのHadoop

 

<プロパティ>

<名前> hadoop.proxyuser.root.groups </名前>

<値> Hadoopの</ value>の

</プロパティ>

 

//もし<値> * </ value>はそのすべてのユーザーであります

 

<プロパティ>

<名前> hadoop.proxyuser.root.hosts </名前>

<値> * </ value>の

</プロパティ>

 

//ここでは、すべての代理アクセスを許可するIP構成されました。そうでない場合には、IPアドレスを設定

 

 

 

3)、HDFS-site.xmlのコンフィギュレーションデータファイルのコピー数は設定可能でないかもしれません。デフォルトは3であるため、

また、この文書のconfigure SecondaryNameNode

<プロパティ>

<名前> dfs.replication </名前>

<値> 3 </値>

</プロパティ>

 

<プロパティ>

<名前> dfs.namenode.secondary.httpアドレス</名前>

<値> hadoop2:50090 </ value>の

</プロパティ>

 

<プロパティ>

<名前> dfs.namenode.secondary.httpsアドレス</名前>

<値> hadoop2:50091 </ value>の

</プロパティ>

 

 

4)、地図-site.xmlのプラットフォーム上でMR糸の実行を指定し、配置されているのResourceManager

MV mapred-site.xml.template mapred-site.xmlに

<プロパティ>

<名前> mapreduce.framework.name </名前>

<値>糸</値>

</プロパティ>

 

5)、糸site.xmlの指定糸ボス(のResourceManager)アドレス、減速データ取得モード

<プロパティ>

<名前> yarn.resourcemanager.hostname </名前>

<値> hadoop2 </ value>の

</プロパティ>

 

<プロパティ>

<名前> yarn.nodemanager.aux-サービス</名前>

<値> mapreduce_shuffle </ value>の

</プロパティ>

 

<プロパティ>

<名前> yarn.resourcemanager.webapp.address </名前>

<値> hadoop2:8088 </ value>の

</プロパティ>

 

このポートは変更することができます

 

質問:このResourceManagerない稼働して、マスターノードの名前ノード別のマシンで構成され、その理由は何ですか?

Googleの下では、名前ノードとResourceMangerは、同じマシンが名前ノード糸に開始することができないではない場合は、糸が配置機械ResouceManagerに開始すべきであると述べました。さて、問題は解決され、思い出し感謝

理解:オリジナル、HDFS、糸、MR 3つの別々のコンポーネントを。名前ノードは、このResourceManagerが糸ヘッドで、HDFSヘッドです。名前ノード開始のResourceManager上の2つの異なるヘッドは、自然に立ち上がります。

だから、名前ノードとResourceMangerない場合は、HDFSを開始するのと同じマシン、再起動糸場合。あなたはワンステップでスタートすべてを使用することはできません。

または問題がありますか?このResourceManagerが何のスレーブ設定されていないところのノードは、ノードマネージャはローカルで起動した場合。

 

 

6)構成スレーブ

クラスタ構成ファイルを読み込む* shの起動スクリプト - 構成での注意:.スレーブは、スタートです。指定しない場合、それは、スタンドアローンバージョンを実行します。

デフォルトはlocalhostです

hadoop3,4,5はデータノードです。糸はノードマネージャであります

hadoop3

hadoop4

hadoop5

----------------------

注:この時点で、名前ノードのノードで既に初期化。名前ノードを個別に開始することができ、データノードは、それぞれ、開始1は、名前ノードをたいものを登録しました。名前ノードの初期化が完了したら、以下のコマンド[トラバースする方法を、言い回し内部start-all.sh]を下に知ることができません。

必要に応じて、開始ノードのデータノードコマンドまで。

hadoop-daemon.sh開始名前ノード

hadoop-daemon.shスタートデータノード

 

7、他のノードへのSCPアプリケーションファイル

SCP -rアプリケーションhadoop2:/ホーム/ Hadoopの

.........

 

別のノードへ8、SCPは/ etc / profile

sudoのscpコマンドは/ etc / profileのhadoop2:/ etc / profileを

..........

 

各ノード9、元の/ etc /プロファイル

ソースは/ etc / profile

 

10、名前ノードフォーマット(初期化は、名前ノードです)

HDFS名前ノード-format

ストレージディレクトリ/ home / Hadoopの/ hadoop_data / DFS /名前が正常にフォーマットされています。

 

11、Hadoopの開始

start-dfs.sh

12、糸を開始

hadoop2 yarn.resourcemanager.hostname構成で開始

start-yarn.sh

13、成功した検証

JPS

----------------------------------------

[Hadoopの@ hadoop1〜] $のJPS

2016名前ノード

2266のJPS

 

[Hadoopの@ hadoop2〜] $のJPS

2116年のResourceManager

2379のJPS

1963 SecondaryNameNode

 

[Hadoopの@ hadoop3〜] $のJPS

1968データノード

2244のJPS

2123ノードマネージャ

 

[Hadoopの@ hadoop4〜] $のJPS

1939データノード

2216のJPS

2095ノードマネージャ

 

[Hadoopの@ hadoop5〜] $のJPS

1939データノード

2216のJPS

2095ノードマネージャ

 

 

Webアクセス:

http://192.168.18.131:50070(HDFS管理インターフェイス--hadoop1)

http://192.168.18.132:8088/(MR管理インターフェイス--hadoop2)

 

 

公開された461元の記事 ウォンの賞賛193 ビュー184万+

おすすめ

転載: blog.csdn.net/zengmingen/article/details/104583586