CDH yarn参数设置

每节点管理器总的cpu核数 (一般设置等于cpu总核数)           整个yarn资源池核数=node数 * 此参数
yarn.nodemanager.resource.cpu-vcores

ApplicationMaster 分配的CPU 核数
yarn.app.mapreduce.am.resource.cpu-vcores

Map 任务分配的CPU核数
mapreduce.map.cpu.vcores


容器最小分配CPU数,默认是1
yarn.scheduler.minimum-allocation-vcores

容器增加CPU,单次可以增量
yarn.scheduler.increment-allocation-vcores。 

容器最大可申请 CPU 核数。默认值1,修改为2个。匹配FLINK task manager分配的slot即vcore默认为2
yarn.scheduler.maximum-allocation-vcores

每节点管理器 总的内存数量                    整个yarn资源池=node数*此参数
yarn.nodemanager.resource.memory-mb   
         default group 1055
                 group1 1024
                 
ApplicationMaster分配的内存大小
yarn.app.mapreduce.am.resource.mb    1024 

容器最小分配内存量
yarn.scheduler.minimum-allocation-mb    1024
容器最大分配内存量
yarn.scheduler.maximum-allocation-mb = 1055

容器内存增量
yarn.scheduler.increment-allocation-mb = 512

CDH 默认情况下使用的时  公平调度器 分配资源。

Hadoop用户默认在在队列root.users下的root.users.hadoop子队列。    

注意该队列有写默认限制,  比如AM分配的最大内存百分比,默认值50%。  由于此公平队列可以浮动,最大可占总集群内存100%,则AM内存最大为总内存 3G*50%=1.5G

具体可以看yarn WEB UI:

其它参数

Application Master java最大堆栈      787.69

Reduce 任务内存(每个MAP任务占用的最大内存数,当容器最大内存分配yarn.scheduler.maximum-allocation-mb很大如10G时,实际此参数为500M ,那么也不会分配10G)0
mapreduce.reduce.memory.mb


Map 任务最大堆栈 0 ,
Reduce任务最大堆栈0

堆与容器大小之比0.8
mapreduce.job.heap.memory-mb.ratio

NodeManager的java 堆:  
      811   Default Group
      721   Group1
JobHistory Server 的 Java 堆栈大小  700M
 
ResourceManager Java堆大小    701M 

发布了16 篇原创文章 · 获赞 0 · 访问量 2849

猜你喜欢

转载自blog.csdn.net/peidezhi/article/details/102729889
CDH