Yarn工作大致基本原理

Yarn在MR中有着非常大的作用,主要体现在一下几个方面:客户端接收job信息:当客户端提交job的时候,(jar包,xml文件,Split信息),之后Yarn响应job,并把它放入容器调度中(多个队列),这是默认的资源调度。然后由Yarn监控节点,把job交给空闲节点,给予他一些资源(其他的节点也要给予)。之后就是进行MR程序。当job完成后,注销任务。

猜你喜欢

转载自blog.csdn.net/qq_43151441/article/details/88695886