Serie Hadoop: instalación y configuración

instalación

Otra URL

Instalación y configuración de Apache Hadoop en un solo nodo: 1. Requisitos previos: "Tutorial de introducción a Apache Hadoop" - 书 Stack 网 · BookStack

Descripción

Deben instalarse los siguientes elementos:

JDK o JRE

    Se puede utilizar OpenJDK u Oracle.

    Hay requisitos de versión, consulte: https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions Los
    requisitos de versión son los siguientes:

• Apache Hadoop 3.3 y superior es compatible con Java 8 y Java 11 (solo en tiempo de ejecución)
  Compile Hadoop con Java 8. No se admite la compilación de Hadoop con Java 11:   HADOOP-16795  - Compatibilidad con la compilación de Java 11 ABIERTO
• Apache Hadoop de 3.0.xa 3.2.x ahora solo es compatible con Java 8
• Apache Hadoop de 2.7.xa 2.10.x es compatible con Java 7 y 8

Instalación de Windows

Otra URL

Hadoop windows local environment installation_lockie blog-CSDN blog_local instalación hadoop
windows instalación y configuración hadoop 3.x
win10 instalación y configuración Hadoop

descargar 

Descarga hadoop

http://hadoop.apache.org/releases.html

Nota: 2.7 y 3.2 son dos cuencas hidrográficas. Descarga aquí: hadoop-3.2.2.tar.gz

Descarga winutils

Hadoop no se puede ejecutar directamente en Windows, necesita descargar winutils.

El funcionario no proporciona winutils directamente, debe compilarlo manualmente usted mismo. Ya hay compilados en el GitHub de terceros. Ambos de los siguientes están bien:

Enlace 1 (actualización continua): https://github.com/cdarlint/winutils
Enlace 2 (descontinuado): https://github.com/steveloughran/winutils  

Descargue la versión 3.2.1 del primer enlace aquí

Coloque los archivos descargados en el directorio bin en los archivos en el directorio bin después de la descompresión en el primer paso (sobrescríbalos si se repiten). (La atención se centra en los archivos hadoop.dll y winutils.exe)

Configuración

Modificar variables de entorno

Este paso debe realizarse, de lo contrario, se informará un error cuando se ejecute start-all.cmd al final: el sistema no puede encontrar hadoop

Nueva variable de entorno => variable de sistema: nombre de variable: HADOOP_HOME, valor: ruta de descompresión, como aquí: D: \ dev \ bigdata \ hadoop-3.1.4
modificar variable de entorno => variable de sistema: nombre de variable: Ruta, valor: Agregar :% HADOOP_HOME% \ bin

Prueba: Después de abrir cmd, ejecute el siguiente comando, si hay una salida normal, la instalación es exitosa.

hadoop version

Configurar hadoop

Las siguientes modificaciones son todos los archivos de esta ruta : ruta de descompresión / etc / hadoop /

Este método de configuración es el modo pseudodistribuido.

hadoop-env.cmd

modificar

set JAVA_HOME=%JAVA_HOME%

por

set JAVA_HOME=D:\dev\Java\jdk1.8.0_201

Nota:

Al principio, mi directorio JDK es: D: \ Archivos de programa \ Java \ jdk1.8.0_201, porque hay espacios, así que necesito cambiar la redacción, pero usar PROGRA ~ 1 en lugar de Archivos de programa o envolverlo entre comillas. Sí, esto solo se puede hacer cuando el JDK está en D: \ Archivos de programa \ xxx.

Aquí, solo puedo cambiar la ruta de jdk.

core-site.xml

Primero cree una nueva carpeta tmp en la ruta de descompresión de hadoop.

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://localhost:9000</value>
</property>
 
<property>
	<name>hadoop.tmp.dir</name>
	<value>/D:/dev/bigdata/hadoop-3.2.2/tmp</value>
</property>
</configuration>

hdfs-site.xml

Primero cree las carpetas namenode y datanode en la carpeta tmp en el paso anterior.

Complete 1 para un solo nodo, si es un nodo múltiple, complete de acuerdo con el número de nodos.

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>       
        <name>dfs.replication</name>       
        <value>1</value>   
    </property>  
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/dev/bigdata/hadoop-3.2.2/tmp/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/dev/bigdata/hadoop-3.2.2/tmp/datanode</value>
    </property>
</configuration>

 mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<?xml version="1.0"?>

<configuration>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hahoop.mapred.ShuffleHandler</value>
    </property>

</configuration>

Nodo de formato

Vaya a la ruta de la papelera y ejecute el siguiente comando 

hdfs namenode -format

o

hadoop.cmd namenode -format

Si es normal, mostrará que namenode se ha formateado correctamente. Si hay un error, las posibles razones son las siguientes: la configuración de la variable de entorno es incorrecta, como un espacio en la ruta, o la versión de winutils es incorrecta, la versión de hadoop es demasiado alta o la configuración del archivo de hadoop debajo de etc es incorrecto.

El éxito se muestra en la siguiente figura:

usar

Iniciar hadoop

Ingrese: ruta de descompresión de Hadoop / sbin, ejecute:

start-all.cmd

A continuación, aparecerán 4 ventanas emergentes. Ejecute jps en CMD para ver estos 4 procesos.

5472  DataNode
14776 ResourceManager
15688 NameNode
14300 Jps
16844 NodeManager

Ver el estado del clúster

Visita: http: // localhost: 8088 /

Ver estado de hadoop

Acceso: http: // localhost: 9870     // Descripción: La dirección de acceso para 3.1.1 y versiones anteriores es: http: // localhost: 50070

Cerrar hadoop

 Ingrese: ruta de descompresión de Hadoop / sbin, ejecute:

stop-all.cmd

Instalación de Docker