CentOS7安装CDH 第十二章:YARN的资源调优

相关文章链接

1. memory调优

调优的本质就是对内存进行设置,使服务能够充分利用内存,从而速度更快,假设一台机器有32G内存,那应该怎么设置DataNode和Nodemanager的内存配置,从而是服务跑得更快。在Linux中,一般使用机器内存的百分之八十五用于服务,其他的百分之十五用于Linux本机自己的运行。所以机器32G内存,其中可用于服务的内存有27G,分配如下:

DN: Heap Size: 4G (块内存)

NM: Heap Size: 3G (块内存)

    yarn.nodemanager.resource.memory-mb : 20G         (资源内存)

    yarn.scheduler.minimum-allocation-mb : 1G  默认1G   (最小内存)

    yarn.scheduler.maximum-allocation-mb: 20G                   (最大内存)

2. CPU调优

CPU调优就是集群中服务的CPU核数进行设置,在此设置中,一般是设置的虚拟的核数,即线程数,假设该机器4个物理核,每个核2个线程,那可以把该参数设置为6,即如果运行spark的时候可以有6个task并行运行,这个参数默认是2,在线上的服务器是远远不够的,所以要进行设置,如下:

yarn.nodemanager.resource.cpu-vcores: 6  (6个task并行) 默认2

3. 调优总结

修改完,重启服务,生效配置

其他问题可以参考:http://blog.itpub.net/30089851/viewspace-2127851/

猜你喜欢

转载自www.cnblogs.com/yangshibiao/p/10870628.html
今日推荐