YARN调度器的性能瓶颈

DataNode主机上的AppMaster向ResoureSchedule请求资源, ResoureSchedule 向 AppMaster 返回资源. 同时这个过程是异步的.

AppMaster是一个yarn任务运行时第一个由RM启动的container,然后负责整个任务的运行,包括container的申请、启动、kill、状态检查等。ApplicationMaster属于应用程序级,其实现不是由Yarn框架提供(历史原因,yarn提供了MapReduce的AppMaster的实现),需要用户自己实现AppMaster进程的具体实现。

1590287305858

如何解决调度器调度能力不足, 计算资源浪费的问题.
调度器有: 公平调度器, 和容量量调度器.
公平调度器的 性能瓶颈的核心原因是 : 核心调度流程是单线程执行的。这意味着Container分配是串行的,这是调度器存在性能瓶颈的核心原因

参考

1万台 Hadoop 集群 YARN 的调优之路

猜你喜欢

转载自www.cnblogs.com/bitbitbyte/p/12946050.html