Entorno independiente de Big Data-MapReduce (2)

prerrequisitos

Asegúrese de que se haya configurado el entorno HDFS: https://blog.csdn.net/hudmhacker/article/details/108364402

Archivo de configuración

Ubicación mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

Colocación yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

Corre y para

Administrador abierto de recursos y nodos

sbin/start-yarn.sh

Ejecute jps:

El puerto de la página WEB del administrador de recursos es 8088 para

detener el administrador de recursos y nodos

sbin/stop-yarn.sh

referencia

1. https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Execution