yarn-site.xml的部分资源配置参数,主要是与内存相关

vim yarn-site.xml

每个nodemanager 可分配的内存 100G: yarn.nodemanager.resource.memory-mb
每个nodemanager 可分配的CPU 20核 :yarn.nodemanager.resource.cpu-vcores

  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>102400</value>
    <description>Amount of physical memory, in MB, that can be allocated for containers.</description>
  </property>

  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>20</value>
    <description>Number of vcores that can be allocated for containers.</description>
  </property>

yarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的物理内存总量,默认是8192(MB),注意,如果你的节点内存资源不够8GB,则需要调减小这个值,而YARN不会智能的探测节点的物理内存总量。

yarn.nodemanager.vmem-pmem-ratio
任务每使用1MB物理内存,最多可使用虚拟内存量,默认是2.1。

yarn.nodemanager.pmem-check-enabled
是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true。

yarn.nodemanager.vmem-check-enabled
是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true。

yarn.scheduler.minimum-allocation-mb
单个任务可申请的最少物理内存量,默认是1024(MB),如果一个任务申请的物理内存量少于该值,则该对应的值改为这个数。

yarn.scheduler.maximum-allocation-mb
单个任务可申请的最多物理内存量,默认是8192(MB)。

猜你喜欢

转载自blog.51cto.com/fengyunshan911/2595489