即将上线的YARN服务器面临的一系列填坑笔记

              即将上线的YARN服务器面临的一系列填坑笔记

                                          作者:尹正杰

版权声明:原创作品,谢绝转载!否则将追究法律责任。

  折腾了一个星期,终于让开发将数据跑起来了,可通过yarn的webUI界面,发现这里的核心数和内存都对应不上,相差的太远了,我的服务器都是32core,128G内存,12*8T的硬盘。理论上的集群可以用的内存应该接近2T。可是我发信内存只有四分之一。

   接下来,我们可以通过这个界面获取一些信息,如下图,点击“about”,可以看到有18个节点(20台机器,2gNN节点,18个DN节点)

  点击上面的按钮,我们可以查看到18个几点的详细信息,因此我们可以一目了然的看出来我的集群配置如下:

   接下来我们去CM上查看一个配置参数:yarn.scheduler.maximum-allocation-mb

   于是,我修改了上面的值,将其改为64G,如下图,点击保存并重启yarn服务

   按照上述配置修改后,发现依旧不对,如下图:

猜你喜欢

转载自www.cnblogs.com/yinzhengjie/p/9821166.html