#MapReduceのオペレーティングプラットフォームYARN

MapReduceのプログラムは、多くのマシン上で並列に起動する必要がありますが、また、マップタスクを実行するために、自分のデータが処理されている数多くのmaptask

後、あなたはまた、タスクを多数減らす起動する必要があり、ユーザーは手動でスケジュールが現実的ではないために、このプロセス場合は、自動化されたスケジューリングレベルを必要とします

分散コンピューティング・プログラムを実行したいとMapReduceの自動化されたスケジューリングプラットフォーム--YARNの開発に台湾で--Hadoop

#クラスタのインストール糸

糸のクラスタは、2つの役割を持っています:

マスターノード:リソースマネージャ1台

ノードから:ノードマネージャNセット

リソースマネージャは、一般的に、特別なマシンに搭載されています

ノードマネージャは、HDFSデータノードと重複しなければなりません

設定ファイルを変更します。

糸-site.xmlに

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp-01</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

次に、各マシンにコピー

SCP -r糸-site.xmlのHDP-02:$ PWD

SCP -r糸-site.xmlのHDP-03:$ PWD

SCP -r糸-site.xmlのHDP-04:$ PWD

HDP-01には、奴隷のHadoopのファイルを変更し、ノードマネージャを起動するために、マシンに含ま

HDP-01 192 168 137 138

192168137139 HDP-02

HDP-03 192 168 137 140

HDP-04 192 168 137 141

HDP-01は、設定されたすべてのマシンを解放するために近くに上陸しました

糸クラスタスクリプトで起動します。

[ルート@ HDP-01のHadoop-2.8.4]#sbinに/ start-yarn.sh

停止:

[ルート@ HDP-01のHadoop-2.8.4]#sbinに/ stop-yarn.sh

起動したら、Windows上のWebブラウザポートのResourceManagerアクセス​​することができます。

http:// HDP-01:8088

ルックリソースmanangerは、すべてのノード・マネージャー・ノードを拒否されます

#ファイル名を指定して実行プログラムのMapReduce

まず第一に、あなたのMapReduce開発者のための糸クライアントクラス(テンプレートコード)にジョブを送信:

あなたのプログラムに関するいくつかの情報を記述することはMapReduceのかなどのマッパー、減速、マップとはKVクラスの出力を下げる(必要に応じて実行されます

タイプ、ジャーパッケージパス、入力および出力データパスのタスクの数を減らします)

情報が一緒に糸やプロジェクト全体のjarパッケージに与えられます

次に、プロジェクト全体(糸+ MapReduceのすべてのクライアントクラスジャーとカスタムクラス)ラベル瓶パッケージ

その後、ジャーパッケージは、クラスタのHadoop内の任意のマシンにアップロード

最後に、瓶のパッケージを実行します(YARNクライアントクラス)

renxiaoblog.hadoop.mr.wc.JobSubmitter wc.jar [ルート@のHDP-04〜]#のHadoopのジャー