【Hadoop-yarn-01】大白话讲讲资源调度器YARN,原来这么好理解


YARN作为Hadoop集群的御用调度器,在整个集群的资源管理上立下了汗马功劳。今天我们用大白话聊聊YARN存在意义。

有了机器就有了资源,有了资源就有了调度。举2个很鲜活的场景:

  1. 在单台机器上,你开了3个程序,分别是A、B、C,3个程序把资源基本上耗光了,你再想开个D,系统没有资源了,或者变的很卡,所以你关掉了A和B,腾出来的资源让D用,这就是人肉调度。
  2. 由多台机器上组成的集群,情况更加复杂,一共有多少CPU,MEM,怎么把指定的应用跑在合适的机器上,总会想均衡,不要累死的累死,闲死的闲死,这就要调度,几台还好,人肉可以登录过来,登录过去看着每台跑的应用和用的资源去调度,要是成百上千台的机器呢,人肉那就累死了。

还是搞个自动化的调度工具吧,想想只要干好几个事,简单说也不难:

  1. 资源管理:要把所有机器的资源都管理起来,起码知道这个分布式的集群有多少资源,摸清家底。
  2. 资源监控:要时时刻刻监控当前用了哪些资源,哪些资源还没用。
  3. 分配资源:应用要申请了,你要给资源,给多少,是不是够用,让他跑到哪台机器上。
  4. 回收资源:不能让应用一直占着,你要时刻问问或者让他上报,用完了要及时归还。

简单的想来YARN就是这么多,基本上每个资源调度器都是干的主要这些事,ResourceManager就是集群老大,在台机器上安插小弟NodeManager,对机器进行资源管理和任务管理,定时向老大汇报各个机器资源情况;一个ApplicationMaster就是一个任务的老大,他负责和ResourceManger老大交涉,比如我需要多少资源,老大都同意小弟还不照做;NodeManager为ApplicationMaster启动若干Container执行task;这些task向他的老大ApplicationMaster汇报状态;当干完活了,释放资源吧,ApplicationMaster告诉ResourceManager你可以回收资源了,接着老大让小弟NodeManger清理现场回收资源。

下面的架构图来自ApacheHadoop官网,写了组件之间的行为,没有写具体工作流程,大家看着上面内容大致理解了,其实原理很简单,当然具体实现有难度,不然成不了角。

在这里插入图片描述
参考文章

  1. Nomad vs. Yarn vs. Kubernetes vs. Borg vs. Mesos
  2. 详解Yarn基础架构及其设计思想
  3. Apache Hadoop YARN

猜你喜欢

转载自blog.csdn.net/zhulangfly/article/details/129624819