Establecimiento del modo de pseudodistribución de Hadoop (pasos detallados)

(1) Cierre temporalmente el comando del firewall: el servicio iptables se detiene

(2) Desactive permanentemente el comando del firewall: chkconfig iptables off

2. Instalar JDK

Si jdk no está instalado, puede consultar este artículo.

https://editor.csdn.net/md/?articleId=126587725

3. Prepare el paquete de instalación de hadoop

dirección de descarga de hadoop-3-3.0

http://Enlace: https://pan.baidu.com/s/1YClfndoOCRdr_yRIxPrj_A?pwd=v8i1

Nota: Después de descargar el paquete comprimido de hadoop, cargue el paquete comprimido en la máquina virtual (la ruta de carga aquí es home/hadoop/software/)

2. Instale el modo de pseudodistribución de hadoop

1. Cree el directorio hadooptmp en la ruta home/hadoop/software/

mkdir /hone/hadoop/software/hadooptmp

Nota: /hone/hadoop/software/ aquí está la ruta donde almaceno el paquete comprimido de hadoop. Simplemente cámbielo por el suyo.

2. Descomprima hadoop-3.3.0.tar.gz

tar -zxvf hadoop-3.3.0.tar.gz

3. Ingrese hadoop-3.3.0/etc/hadoop

cd inicio/software//hadoop-3.3.0/etc/hadoop

Nota: Este es el hadoop-3.3.0/etc/hadoop descomprimido en lugar del cd hadoop directamente.

4. Edite el entorno en el que se ejecuta hadoop.

vi hadoop-env.sh

Después de ingresar el archivo, agregue la variable de entorno jdk de la siguiente manera:

exportar JAVA_HOME=/home/hadoop/software/jdk1.8.0_171

Después de agregar, guardar y salir.

Tenga en cuenta que /home/hadoop/software/ es la ruta donde almaceno jdk. Puede cambiarla por la suya propia.

5. Configure el host o la dirección de comunicación donde se encuentra el NameNode y la ruta al directorio formateado del NameNode.

vi core-site.xml

Después de ingresar al archivo, deslícese hasta la parte inferior del archivo y agregue el siguiente contenido en <configuración></configuración>

<propiedad>

<nombre>fs.defaultFS</nombre>

<valor>hdfs://hadooptest:9000</valor>

</propiedad>

<propiedad>

<nombre>hadoop.tmp.dir</nombre>

<valor>/home/hadoop/software/hadooptmp</valor>

</propiedad>

Después de agregar, guardar y salir.

Nota: hadooptest aquí es mi nombre de host, cámbielo a su propio nombre de host en consecuencia

/home/hadoop/software/hadooptmp aquí está la ruta para crear Hadooptmp en el primer paso

6. Configurar la redundancia del bloque de datos de DataNode

vi hafs-site.xml

Después de ingresar al archivo, deslícese hasta la parte inferior del archivo y agregue el siguiente contenido en <configuración></configuración>

<propiedad>

<nombre>dfs.replication</nombre>

<valor>1</valor>

</propiedad>

Después de agregar, guardar y salir.

7. Configure el contenedor de hilo del marco de ejecución de MapReduce.

vi mapred-site.xml

Después de ingresar al archivo, deslícese hasta la parte inferior del archivo y agregue el siguiente contenido en <configuración></configuración>

<propiedad>

  <nombre>mapreduce.framework.nombre</nombre>

   <valor>hilo</valor>

   </propiedad>

Después de agregar, guardar y salir.

8. Configure el host donde se encuentra ResourceManager y el método de búfer MapReduce

vi hilo-sitio.xml

Después de ingresar al archivo, deslícese hasta la parte inferior del archivo y agregue el siguiente contenido en <configuración></configuración>

<propiedad>

<nombre>yarn.nodemanger.aux-services</nombre>

<valor>mapreduce_shuffle</valor>

</propiedad>

Después de agregar, guardar y salir.

9. Configurar variables de entorno de hadoop

vi ~/.bash_profile

Agregue el siguiente contenido al archivo.

exportar HADOOP_HOME=/home/hadoop/software/hadoop-3.3.0

exportar RUTA=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

Nota: /home/hadoop/software/hadoop-3.3.0 aquí está la ruta donde está almacenado hadoop. Puede cambiarla a la ruta donde almacena hadoop.

10. Actualice el contenido del archivo bash_profile

fuente ~/.bash_profile

11. Formatear el nodo de nombre

formato de nodo de nombre de hadoop

12. Inicie procesos relacionados con hadoop

empezar-todo.sh

Cuando aparece la siguiente imagen, el inicio se completa

13. Comprueba el progreso

jps

El siguiente contenido se mostrará después.

En este punto hemos configurado el clúster pseudodistribuido de Hadoop. Es posible que encuentre algunos problemas al configurarlo por primera vez. Si tiene alguna pregunta, puede comentarme o enviarme un mensaje privado.