WordCount mapreduce demostración de configuración del programa y el patrón de distribución de la seudo lesson4 Hadoop hilo en movimiento

 configuración A, hilado:

1. Configurar yarn-env.sh: unirse a JAVA_HOME. 

2. Configurar hilo site.xml: añadir la siguiente, va a cambiar el nombre de host nodo1

<!--Reducer获取数据的方式-->
<property> 
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value> 
</property>

<!--指定Yarn的ResourceManager的地址-->
<property> 
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value> 
</property>


3. Configurar mapred-env.xml:

 Copiar archivos

cp mapred-site.xml.template mapred-site.xml

Agregue el siguiente en mapred-env.xml en:

<!--指定MR运行在Yarn上-->
<property> 
	<name>mapreduce.framework.name</name>
	<value>yarn</value> 
</property>

 En segundo lugar, iniciar el clúster:

1. Antes de comenzar NameNode y debe garantizar DataNode ya ha comenzado.

2. Iniciar ResourceManager:

sbin/yarn-daemon.sh start resourcemanager

3. Iniciar NodeManager: 

sbin/yarn-daemon.sh start nodemanager

4. Comprobar: Introduzca JPS deben ser capaces de ver el programa se ha iniciado

 

 Introduzca el -lnpt netstat debe ver el número de puerto 8088 se ha puesto en marcha

 Introduzca el nombre de host y número de puerto 8088 es posible que vea la página siguiente

 En tercer lugar, el programa se ejecuta WordCount:

1. Eliminar la salida anterior: 

hdfs dfs -rm -r /user/root/output

2. Ejecutar el programa:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/root/input /user/root/output

 Podemos ver el proceso de ejecución del programa:

 

 

Publicado 45 artículos originales · elogios ganado 30 · Vistas a 10000 +

Supongo que te gusta

Origin blog.csdn.net/sinat_40471574/article/details/104863731
Recomendado
Clasificación