Hadoop中的yarn组建的几种资源调度策略

yarn中几种重要的的资源调度策略

         1>fifo(队列调度策略):在数据结构中,我们学习了队列这种数据结构,遵循先进先出的原则,在资源调度也是队列这种数据结构的一种应用,当存在多个任务的需要去执行的时候,他们都存在于任务队列中,这种资源调度策略,首先会优先的从任务队列中头部拿到任务,对该任务分配足够的资源,使得第一个任务有足够的资源,保障其顺利的进行,在有剩余资源的情况下,才会依次为队列的其他任务分配资源,否则其他任务都处于阻塞状态,直到等到第一个任务运行完释放资源,其他任务才会有运行的机会

     2>capacity(容量资源调度策略):这种调度策略,会专门开辟一个小的队列,用于采用存放小任务集,该容量会提前为这个小的队列分配一定的资源,使用的是fifo调度资源,使得该队列有同等大任务的运行机会,当该队列的资源不足时,徐要等待待大任务运行完释放资源,小队列才有足够分配的资源运行.

 3>fair(公平调度策略):对于这种调度策略,每一个任务都有运行的机会,当有一个任务需要运行的时候,该任务会被分配系统的所有资源,当有另一个新的任务需要运行时,第一个任务需要释放一半的资源使其第2个任务有运行机会,缺点在于,第一个任务在释放资源时候,需要一定的时间,第2个任务运行有一定的延迟,且第一个任务运行速率将减少

怎样进行设置  设置在yarn-site.xml文件里面 ,我所使用的hadoop的版本是hadoop2.7.2,它默认的资源调度是第2种,容量调度,

    配置方案(http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

<property>

 <name>yarn.resourcemanager.scheduler.class</name>                                   <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>

</property>

猜你喜欢

转载自blog.csdn.net/w5201314ws6123/article/details/87887849