vim yarn-site.xml
Cada administrador de nodos puede asignar 100G de memoria: yarn.nodemanager.resource.memory-mb
Cada administrador de nodos puede asignar 20 núcleos de CPU: yarn.nodemanager.resource.cpu-vcores
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>102400</value>
<description>Amount of physical memory, in MB, that can be allocated for containers.</description>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>20</value>
<description>Number of vcores that can be allocated for containers.</description>
</property>
yarn.nodemanager.resource.memory-mb
representa la cantidad total de memoria física disponible para YARN en el nodo, el valor predeterminado es 8192 (MB); tenga en cuenta que si los recursos de memoria de su nodo no son suficientes de 8 GB, debe reducir este valor y YARN No detectará de forma inteligente la memoria física total del nodo.
La tarea yarn.nodemanager.vmem-pmem-ratio
usa 1 MB de memoria física y se puede usar la cantidad máxima de memoria virtual. El valor predeterminado es 2.1.
yarn.nodemanager.pmem-check-enabled
si iniciar un hilo para verificar la cantidad de memoria física utilizada por cada tarea, si la tarea excede el valor asignado, se eliminará directamente, el valor predeterminado es verdadero.
yarn.nodemanager.vmem-check-enabled
Si se debe iniciar un hilo para verificar la cantidad de memoria virtual utilizada por cada tarea, si la tarea excede el valor asignado, se eliminará directamente, el valor predeterminado es verdadero.
yarn.scheduler.minimum-deployment-mb
La cantidad mínima de memoria física que puede solicitar una sola tarea. El valor predeterminado es 1024 (MB). Si la cantidad de memoria física solicitada por una tarea es menor que este valor, el valor correspondiente se cambiará a este número.
yarn.scheduler.maximum-deployment-mb
La cantidad máxima de memoria física que puede solicitar una sola tarea. El valor predeterminado es 8192 (MB).