mapred.child.java.opts
Este parámetro es para configurar la cantidad de memoria utilizada por cada mapa o reducción. El valor predeterminado es 200M. Para este parámetro, personalmente creo que si la memoria es 8G y la CPU tiene 8 núcleos, está bien configurarlo en 1G. De hecho, el consumo de memoria en el proceso de asignación y reducción no es grande, pero si la configuración es demasiado pequeña, puede haber un error de "no hay memoria para asignar". Entonces, para esta configuración, resumí una fórmula simple: la cantidad de mapas/reducciones concurrentes (la suma no es mayor que la cantidad de núcleos de CPU) × mapred.child.java.opts < la memoria total de la máquina del nodo. Por supuesto, puede ser igual, pero es un poco arriesgado.
Este parámetro es para configurar la cantidad de memoria utilizada por cada mapa o reducción. El valor predeterminado es 200M. Para este parámetro, personalmente creo que si la memoria es 8G y la CPU tiene 8 núcleos, está bien configurarlo en 1G. De hecho, el consumo de memoria en el proceso de asignación y reducción no es grande, pero si la configuración es demasiado pequeña, puede haber un error de "no hay memoria para asignar". Entonces, para esta configuración, resumí una fórmula simple: la cantidad de mapas/reducciones concurrentes (la suma no es mayor que la cantidad de núcleos de CPU) × mapred.child.java.opts < la memoria total de la máquina del nodo. Por supuesto, puede ser igual, pero es un poco arriesgado.