yarn资源管理优化

集群环境: chd5-2.5.2
我们集群使用的是FailScheduler,如果队列参数设置不合理,会直接影响到任务执行的快慢。

队列设置不合理

举例如下:
这里写图片描述

现状:该队里minshare设置的过小,同时起的任务太多
导致的问题:该队列中平均每个任务分的资源比较少,任务跑的特别慢,同时,任务之间会相互抢占container

比如下面的任务,跑了30多个小时,还没跑完

这里写图片描述

看一下任务详情:
1,当前只分配了11个container,还差约4000个cotnainer才能完成任务,
2,container被kill掉了约16000个,资源浪费严重
这里写图片描述
container 被kill掉的原因,大部分是因为container被别的任务抢占。:

这里写图片描述

解决办法:

1)调整minshare,maxshare
2)调整maxrunningapp
参数的详细解释,可以参考
http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-fair-scheduler/

--------------------- 本文来自 wisgood 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/wisgood/article/details/48715629?utm_source=copy

猜你喜欢

转载自blog.csdn.net/yisun123456/article/details/82857568