糸スケジューラプロファイルスケジューラ
理想的には、我々は適切なリソースにする前に、多くの場合、いくつかの時間を待つ必要があるアプリケーションのリソースを要求し、糸のリソースの要求がすぐに満たされる必要がありますが、現実のリソースは、多くの場合、特に非常に忙しいクラスタ内で、制限されて適用されます。 糸では、アプリケーションがリソースを割り当てるための責任があるスケジューラであります。実際には、スケジュール自体が問題である、すべてのシナリオを解決することができます完璧な戦略を見出すことは困難です。この目的のために、糸は、スケジューリングと私たちが選択するための設定可能な戦略をご用意しております。
三つのスケジューラは、糸を選択することがあります。FIFOスケジューラ、キャパシティスケジューラ、フェアスケジューラ。
1、FIFO Scheduler： FIFO Scheduler把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。
FIFO Scheduler是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler，这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。
FIFO Scheduler ：先进先出，谁先提交谁先执行（先来后到）。
たとえばするFIFO子：Dafanカフェテリアラインアップ、チケットを買うためにラインアップし、病院、
2、Capacity 调度器允许多个组织共享整个集群，每个组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源，这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。除此之外，队列内部又可以垂直划分，这样一个组织内部的多个成员就可以共享这个队列资源了，在一个队列内部，资源的调度是采用的是先进先出(FIFO)策略。
容量调度器 Capacity Scheduler 最初是由 Yahoo 最初开发设计使得 Hadoop 应用能够被多用户使用，且最大化整个集群资源的吞吐量，现被 IBM BigInsights 和 Hortonworks HDP 所采用。
Capacity Scheduler 被设计为允许应用程序在一个可预见的和简单的方式共享集群资源，即"作业队列"。Capacity Scheduler 是根据租户的需要和要求把现有的资源分配给运行的应用程序。Capacity Scheduler 同时允许应用程序访问还没有被使用的资源，以确保队列之间共享其它队列被允许的使用资源。管理员可以控制每个队列的容量，Capacity Scheduler 负责把作业提交到队列中。
Capacity Scheduler：容量调度器。以列得形式配置集群资源，每个队列可以抢占其他队列得资源。多个队列可以同时执行任务。但是一个队列内部还是FIFO。
子スケジューラ例の容量：購入の列車の切符は、マルチウィンドウ、マルチウィンドウDafanカフェテリアライン、マルチウィンドウ銀行のカウンターサービス、高速料金所
3、在Fair调度器中，我们不需要预先占用一定的系统资源，Fair调度器会为所有运行的job动态的调整系统资源。如下图所示，当第一个大job提交时，只有这一个job在运行，此时它获得了所有集群资源；当第二个小任务提交后，Fair调度器会分配一半资源给这个小任务，让这两个任务公平的共享集群资源。
需要注意的是，在下图Fair调度器中，从第二个任务提交到获得资源会有一定的延迟，因为它需要等待第一个任务释放占用的Container。小任务执行完成之后也会释放自己占用的资源，大任务又获得了全部的系统资源。最终效果就是Fair调度器即得到了高的资源利用率又能保证小任务及时完成。
公平调度器 Fair Scheduler 最初是由 Facebook 开发设计使得 Hadoop 应用能够被多用户公平地共享整个集群资源，现被 Cloudera CDH 所采用。
Fair Scheduler 不需要保留集群的资源，因为它会动态在所有正在运行的作业之间平衡资源。
Fair Scheduler ：公平调度器，同样以列得形式配置集群资源，每个队列可以抢占其他队列得资源。当被抢占得队列有任务时，抢占得队列奉还资源。不知指出在与奉还资源需要一段时间。
たとえば、サブの公正スケジューラ：チケットの兵士を購入する優先順位は、高齢者のためのバスに乗ります
1、容量スケジューラ（CDHデフォルトのスケジューラ）
糸-site.xml構成ファイルによる使用スケジューラ
の設定yarn.resourcemanager.scheduler.classパラメータ、デフォルトのキャパシティスケジューラスケジューラ。
假设我们有如下层次的队列：
Root
├── prod(生产环境) 40 %
└── dev（开发环境） 60 %
├── mapreduce 60 %的50%
└── spark 60 % 的50%
以下は、簡単なスケジューラ容量プロファイルですファイルと呼ばれる能力scheduler.xml。この構成では、我々は、2つのサブキュー以下、それぞれルート・キュー内のPRODのDEV、40％容量の60％を定義します。キュー構成は属性yarn.sheduler.capacityによって指定されることに注意してください..、そのようなキューroot.prodとして、キューの継承ツリーを表し、一般容量と最大容量のことをいいます。
1、编辑集群内的capacity-scheduler.xml 配置文件，输入一下内容
<configuration>
<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>prod,dev</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.dev.queues</name>
<value>mapreduce,spark</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.prod.capacity</name>
<value>40</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.dev.capacity</name>
<value>60</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.dev.maximum-capacity</name>
<value>75</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.dev.mapreduce.capacity</name>
<value>50</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.dev.spark.capacity</name>
<value>50</value>
</property>
</configuration>
我们可以看到，dev队列又被分成了mapreduce和spark两个相同容量的子队列。dev的maximum-capacity属性被设置成了75%，所以即使prod队列完全空闲dev也不会占用全部集群资源，也就是说，prod队列仍有25%的可用资源用来应急。我们注意到，mapreduce和spark两个队列没有设置maximum-capacity属性，也就是说mapreduce或spark队列中的job可能会用到整个dev队列的所有资源（最多为集群的75%）。而类似的，prod由于没有设置maximum-capacity属性，它有可能会占用集群全部资源。
关于队列的设置，这取决于我们具体的应用。比如，在MapReduce中，我们可以通过mapreduce.job.queuename属性指定要用的队列。如果队列不存在，我们在提交任务时就会收到错误。如果我们没有定义任何队列，所有的应用将会放在一个default队列中。
注意：对于Capacity调度器，我们的队列名必须是队列树中的最后一部分，如果我们使用队列树则不会被识别。比如，在上面配置中，我们使用prod和mapreduce作为队列名是可以的，但是如果我们用root.dev.mapreduce或者dev. mapreduce是无效的。
更新された構成は、クラスタ内のすべてのノードに配布されます
SCP容量-scheduler.xmlとnode02：/ $ PWD
SCP容量-scheduler.xml node03の：/ $ PWD
（$ PWDと中間スペースは削除しました）
再起動糸クラスタ
./stop-all.sh
./start-all.sh
验证上面创建的对列
通过mapreduce.job.queuename指定对列的名字
mapreduce.job.queuename=mapreduce
hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi -D mapreduce.job.queuename=mapreduce 10 10
デモ図
レンダリング
図2に示すように、糸マルチテナントリソース隔離
社内のHadoop糸クラスタでは、それは確かにそうでない場合は、リソース管理と計画、糸のリソースを共有する、同時により多くのトラフィック、複数のユーザーとなり、その後、全体の糸のリソースを簡単に、ユーザーのアプリケーションのいずれかに提出することができます満たされた、唯一の私たちは、それぞれの事業は、この需要を満たすために、Hadoopのは-Fairスケジューラスケジューラフェアを提供し、MapReduceのタスクを実行するために、独自の特定のリソースを持っていることを願って、このコースは非常に無理がある、他のタスクを待つことができます。
糸フェアスケジューラリソースプールの複数に全体の利用可能なリソースは、リソースの各プールが最小値と最大利用可能なリソース（メモリとCPU）、同時実行中のアプリケーション、重量の最大数を設定することができ、およびアプリケーションマネージャに提出することができるとユーザー。
糸-site.xmlファイルと設定を有効にする必要がありますへフェアスケジューラほかしかし、また、XMLファイルを必要とします公正scheduler.xml糸クラスタを再起動することなく、力への参入を作るために糸rmadminの-refreshQueues：構成するリソースプールとクォータ、および各XMLリソースプールのクォータを動的に更新することができますし、次にコマンドを使用します。
注こと：それはリソースプールを追加または削減することである場合のみ、動的更新は、リソースプールの割り当てを変更するサポートし、あなたは糸のクラスタを再起動する必要があります。
編集糸-site.xmlの
yarn集群主节点中yarn-site.xml添加以下配置
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml
<!-- 指定使用fairScheduler的调度方式 -->
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
<!-- 指定配置文件路径 -->
<property>
<name>yarn.scheduler.fair.allocation.file</name>
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/fair-scheduler.xml</value>
</property>
<!-- 是否启用资源抢占，如果启用，那么当该队列资源使用
yarn.scheduler.fair.preemption.cluster-utilization-threshold 这么多比例的时候，就从其他空闲队列抢占资源
-->
<property>
<name>yarn.scheduler.fair.preemption</name>
<value>true</value>
</property>
<property>
<name>yarn.scheduler.fair.preemption.cluster-utilization-threshold</name>
<value>0.8f</value>
</property>
<!-- 默认提交到default队列 -->
<property>
<name>yarn.scheduler.fair.user-as-default-queue</name>
<value>true</value>
</property>
<!-- 如果提交一个任务没有到任何的队列，是否允许创建一个新的队列，设置false不允许 -->
<property>
<name>yarn.scheduler.fair.allow-undeclared-pools</name>
<value>false</value>
</property>
フェアscheduler.xmlプロファイルを追加
<?xml version="1.0"?>
<allocations>
<!-- users max running apps -->
<userMaxAppsDefault>30</userMaxAppsDefault>
<!-- 定义队列 -->
<queue name="root">
<minResources>512mb,4vcores</minResources>
<maxResources>102400mb,100vcores</maxResources>
<maxRunningApps>100</maxRunningApps>
<weight>1.0</weight>
<schedulingMode>fair</schedulingMode>
<aclSubmitApps> </aclSubmitApps>
<aclAdministerApps> </aclAdministerApps>
<queue name="default">
<minResources>512mb,4vcores</minResources>
<maxResources>30720mb,30vcores</maxResources>
<maxRunningApps>100</maxRunningApps>
<schedulingMode>fair</schedulingMode>
<weight>1.0</weight>
<!-- 所有的任务如果不指定任务队列，都提交到default队列里面来 -->
<aclSubmitApps>*</aclSubmitApps>
</queue>
注释：
weight
资源池权重
aclSubmitApps
允许提交任务的用户名和组；
格式为： 用户名 用户组
当有多个用户时候，格式为：用户名1,用户名2 用户名1所属组,用户名2所属组
aclAdministerApps
允许管理任务的用户名和组；
すべてのノードは、新たにクラスタ構成ファイルに追加配布します
CD /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
SCP糸-site.xmlの公正scheduler.xmlとnode02：/ $ PWD
SCP糸-site.xmlのフェア-scheduler.xml node03の：/ $ PWD
（$ PWDと中間スペースは削除しました）
再起動糸クラスタ
stop-yarn.sh
start-yarn.sh
検証
A）キュー内に配置された必要なユーザ認証（）を添加
useraddのHadoopの
passwdのHadoopの
Hadoopのユーザー権限を与えます
変更許可tmpフォルダ上のHDFS、または時にタスクを実行するための平均的なユーザーは例外不十分な権限をスローします。rootユーザで以下のコマンドを実行します。
groupadd supergroup 添加组
usermod -a -G supergroup hadoop 修改用户所属的附加群主
su - root -s /bin/bash -c "hdfs dfsadmin -refreshUserToGroupsMappings"
刷新用户组信息
b）は、タスクを送信確認するためにブラウザを表示
su hadoop 使用hadoop用户提交程序
hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 10 20 查看界面
デモ図
インターフェイスマップ
