#MapReduceのオペレーティングプラットフォームYARN
MapReduceのプログラムは、多くのマシン上で並列に起動する必要がありますが、また、マップタスクを実行するために、自分のデータが処理されている数多くのmaptask
後、あなたはまた、タスクを多数減らす起動する必要があり、ユーザーは手動でスケジュールが現実的ではないために、このプロセス場合は、自動化されたスケジューリングレベルを必要とします
分散コンピューティング・プログラムを実行したいとMapReduceの自動化されたスケジューリングプラットフォーム--YARNの開発に台湾で--Hadoop
#クラスタのインストール糸
糸のクラスタは、2つの役割を持っています:
マスターノード:リソースマネージャ1台
ノードから:ノードマネージャNセット
リソースマネージャは、一般的に、特別なマシンに搭載されています
ノードマネージャは、HDFSデータノードと重複しなければなりません
設定ファイルを変更します。
糸-site.xmlに
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp-01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
次に、各マシンにコピー
SCP -r糸-site.xmlのHDP-02:$ PWD
SCP -r糸-site.xmlのHDP-03:$ PWD
SCP -r糸-site.xmlのHDP-04:$ PWD
HDP-01には、奴隷のHadoopのファイルを変更し、ノードマネージャを起動するために、マシンに含ま
HDP-01 192 168 137 138
192168137139 HDP-02
HDP-03 192 168 137 140
HDP-04 192 168 137 141
HDP-01は、設定されたすべてのマシンを解放するために近くに上陸しました
糸クラスタスクリプトで起動します。
[ルート@ HDP-01のHadoop-2.8.4]#sbinに/ start-yarn.sh
停止:
[ルート@ HDP-01のHadoop-2.8.4]#sbinに/ stop-yarn.sh
起動したら、Windows上のWebブラウザポートのResourceManagerアクセスすることができます。
ルックリソースmanangerは、すべてのノード・マネージャー・ノードを拒否されます
#ファイル名を指定して実行プログラムのMapReduce
まず第一に、あなたのMapReduce開発者のための糸クライアントクラス(テンプレートコード)にジョブを送信:
あなたのプログラムに関するいくつかの情報を記述することはMapReduceのかなどのマッパー、減速、マップとはKVクラスの出力を下げる(必要に応じて実行されます
タイプ、ジャーパッケージパス、入力および出力データパスのタスクの数を減らします)
情報が一緒に糸やプロジェクト全体のjarパッケージに与えられます
次に、プロジェクト全体(糸+ MapReduceのすべてのクライアントクラスジャーとカスタムクラス)ラベル瓶パッケージ
その後、ジャーパッケージは、クラスタのHadoop内の任意のマシンにアップロード
最後に、瓶のパッケージを実行します(YARNクライアントクラス)
renxiaoblog.hadoop.mr.wc.JobSubmitter wc.jar [ルート@のHDP-04〜]#のHadoopのジャー