hadoop start
This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
starting yarn daemons
糸は何に使われますか?
リソースを管理する
糸の操作メカニズム:
YARNは、次の2種類の長時間実行デーモンを通じてコアサービスを提供します。
- クラスター上のリソースの使用を管理するリソースマネージャー(リソースマネージャー)
- クラスター内のすべてのノードで実行され、コンテナーを開始およびモニターできるノード・マネージャー
コンテナは特定のアプリケーションのプロセスを実行するために使用され、各コンテナにはリソース制限(メモリ、CPUなど)があります。
コンテナは、YARN構成に応じて、UnixプロセスまたはLinuxcgroupにすることができます。
次の図は、YARNがアプリケーションを実行する方法を示しています。
処理する:
1.クライアントはyarnにジョブを送信し、最初にResourceManagerを見つけてリソースを割り当てます
2. ResourceManagerはコンテナーを開き、コンテナーでアプリケーションマネージャーを実行します
3.アプリケーションマネージャーは、コンテナーを開始するノードマネージャーを見つけ、コンテナーでアプリケーションマスターを実行し、アプリケーションマスターは必要なリソースの数を計算します。
4.アプリケーションマスターは、タスクの実行に必要なリソースをアプリケーションマネージャー(Yarn)に適用します
5.リソーススケジューラは、リソースパッケージをアプリケーションマスターに送信します
6.アプリケーションマスターは、取得したリソースを、現在アプリケーションマスターを実行しているノードマネージャーを含む各ノードマネージャーに割り当てます。
7.各ノードマネージャーはタスクとリソースを取得し、マップタスクの実行を開始します
8.マップタスクの実行が終了したら、reduceタスクの実行を開始します
9.タスクをマップし、実行結果をアプリケーションマスターにフィードバックするタスクを減らします
10.アプリケーションマスターは、タスク実行の結果をアプリケーションマネージャーにフィードバックします