【ビッグデータ】YARN

hadoop start

This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
starting yarn daemons

糸は何に使われますか?

リソースを管理する

糸の操作メカニズム:

YARNは、次の2種類の長時間実行デーモンを通じてコアサービスを提供します。

  1. クラスター上のリソースの使用を管理するリソースマネージャー(リソースマネージャー)
  2. クラスター内のすべてのノードで実行され、コンテナーを開始およびモニターできるノード・マネージャー

 

コンテナは特定のアプリケーションのプロセスを実行するために使用され、各コンテナにはリソース制限(メモリ、CPUなど)があります。

コンテナは、YARN構成に応じて、UnixプロセスまたはLinuxcgroupにすることができます

次の図は、YARNがアプリケーションを実行する方法を示しています。

処理する:

1.クライアントはyarnにジョブを送信し、最初にResourceManagerを見つけてリソースを割り当てます

2. ResourceManagerはコンテナー開き、コンテナーアプリケーションマネージャーを実行します

3.アプリケーションマネージャーは、コンテナー開始するノードマネージャーを見つけ、コンテナーアプリケーションマスターを実行し、アプリケーションマスターは必要なリソースの数を計算します。

4.アプリケーションマスターは、タスクの実行に必要なリソースをアプリケーションマネージャー(Yarn)に適用します

5.リソーススケジューラは、リソースパッケージをアプリケーションマスターに送信します

6.アプリケーションマスターは、取得したリソースを、現在アプリケーションマスターを実行しているノードマネージャーを含む各ノードマネージャー割り当てます。

7.各ノードマネージャーはタスクとリソースを取得し、マップタスクの実行を開始します

8.マップタスクの実行が終了したら、reduceタスクの実行を開始します

9.タスクをマップし、実行結果をアプリケーションマスターにフィードバックするタスクを減らします

10.アプリケーションマスターは、タスク実行の結果をアプリケーションマネージャーにフィードバックします

 

 

おすすめ

転載: blog.csdn.net/Qmilumilu/article/details/104648863