糸導入と共通パラメータ

I.概要

  1. ApacheのHadoopの糸(もう一つの資源交渉、別のリソースコーディネーター)は新しいHadoopのエクスプローラで、それは上側のリソース管理とスケジューリングのための統一されたアプリケーションを提供ユニバーサルリソース管理システムがあり、その導入がありますクラスタは、リソース使用率、リソースを一元管理し、データ共有の面で大きなメリットをもたらしています。
  2. 基本的な考え方はJobTracker糸に2つの主要な機能(リソース管理及びジョブスケジューリング/モニタリング)分離され、mainメソッドは、グローバルのResourceManager(RM)とApplicationMaster(AM)のためのアプリケーションの数を作成することです。ここでのアプリケーションは、従来のMapReduceジョブを指します。
  3. 階層の糸性質があるのResourceManager。このエンティティは、クラスタ全体を制御し、リソースベースのコンピューティングへのアプリケーションの配布を管理します。個々のリソース(計算、メモリ、帯域幅、等)の一部のResourceManagerは、基底ノードマネージャ(糸各ノード・エージェント)を詳しく説明します。
  4. ResourceManagerがまた、一緒に資源とApplicationMasterを割り当てるノードマネージャで自分のアプリケーションの基礎を開始し、監視します。この文脈では、ApplicationMasterは、TaskTrackerの前の役割の一部を負担し、ResourceManagerがJobTrackerの役割を取りました。
  5. ApplicationMaster YARNで実行中のアプリケーションの各インスタンスを管理します。調整およびノー​​ドマネージャの実装とリソース(CPU、メモリおよび他のリソース割り当て)を用いて容器を監視する責任のResourceManagerからApplicationMasterリソース。

第二に、アーキテクチャ図

ここに画像を挿入説明

第三に、核となるアイデア

  1. 次の主要な構成成分で構成さJobTracker TaskTackerと分離:
  2. グローバルリソースマネージャのResourceManager
  3. 各ノードのResourceManagerエージェントノードマネージャ
  4. 各アプリケーションはApplicationMasterを表し
  5. 每一个ApplicationMaster拥有多个Container在NodeManager上运行

组件介绍

四、ResourceManager(RM)

  1. RM是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器(Applications Manager,ASM)。
  2. 调度器 调度器根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序。需要注意的是,该调度器是一个“纯调度器”,它不再从事任何与具体应用程序相关的工作,比如不负责监控或者跟踪应用的执行状态等,也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务,这些均交由应用程序相关的ApplicationMaster完成。调度器仅根据各个应用程序的资源需求进行资源分配,而资源分配单位用一个抽象概念“资源容器”(Resource Container,简称Container)表示,Container是一个动态资源分配单位,它将内存、CPU资源封装在一起,从而限定每个任务使用的资源量。
  3. 应用程序管理器(Applications Manager)负责管理整个系统中所有应用程序,包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。

五、ApplicationMaster(AM)

  1. 用户提交的每个应用程序均包含一个AM,主要功能包括:
    a. 与RM调度器协商以获取资源(用Container表示);
    b. 将得到的任务进一步分配给内部的任务(资源的二次分配);
    c. 与NM通信以启动/停止任务;
    d. 监控所有任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务。

六、NodeManager(NM)

  1. NMは、各ノード上のリソースとタスクマネージャであります
  2. これは、定期的にRMにコンテナ上の各ノードのリソースの使用および動作状態を報告します
  3. これは、受信して、AMコンテナの開始/停止などからの様々な要求を処理します。

七、コンテナ

  1. そのコンテナYARNリソースの抽象化は、ノード上のCPUリソースをメモリをカプセル化
  2. ときAMアプリケーションリソースRMに、AMが返さRMリソースがコンテナ表現されています。
  3. YARNコンテナは、各タスクに割り当てられます、そしてタスクについてのみ説明コンテナのリソースを使用することができます。

一般的なパラメータ

ここに画像を挿入説明

おすすめ

転載: blog.csdn.net/yang134679/article/details/93782653