每节点管理器总的cpu核数 (一般设置等于cpu总核数) 整个yarn资源池核数=node数 * 此参数
yarn.nodemanager.resource.cpu-vcores
ApplicationMaster 分配的CPU 核数
yarn.app.mapreduce.am.resource.cpu-vcores
Map 任务分配的CPU核数
mapreduce.map.cpu.vcores
容器最小分配CPU数,默认是1
yarn.scheduler.minimum-allocation-vcores
容器增加CPU,单次可以增量
yarn.scheduler.increment-allocation-vcores。
容器最大可申请 CPU 核数。默认值1,修改为2个。匹配FLINK task manager分配的slot即vcore默认为2
yarn.scheduler.maximum-allocation-vcores
每节点管理器 总的内存数量 整个yarn资源池=node数*此参数
yarn.nodemanager.resource.memory-mb
default group 1055
group1 1024
ApplicationMaster分配的内存大小
yarn.app.mapreduce.am.resource.mb 1024
容器最小分配内存量
yarn.scheduler.minimum-allocation-mb 1024
容器最大分配内存量
yarn.scheduler.maximum-allocation-mb = 1055
容器内存增量
yarn.scheduler.increment-allocation-mb = 512
CDH 默认情况下使用的时 公平调度器 分配资源。
Hadoop用户默认在在队列root.users下的root.users.hadoop子队列。
注意该队列有写默认限制, 比如AM分配的最大内存百分比,默认值50%。 由于此公平队列可以浮动,最大可占总集群内存100%,则AM内存最大为总内存 3G*50%=1.5G
具体可以看yarn WEB UI:
其它参数
Application Master java最大堆栈 787.69
Reduce 任务内存(每个MAP任务占用的最大内存数,当容器最大内存分配yarn.scheduler.maximum-allocation-mb很大如10G时,实际此参数为500M ,那么也不会分配10G)0
mapreduce.reduce.memory.mb
Map 任务最大堆栈 0 ,
Reduce任务最大堆栈0
堆与容器大小之比0.8
mapreduce.job.heap.memory-mb.ratio
NodeManager的java 堆:
811 Default Group
721 Group1
JobHistory Server 的 Java 堆栈大小 700M
ResourceManager Java堆大小 701M