Errores del aprendizaje de big data: HADOOP_HOME y hadoop.home.dir no están configurados.

Descripción del problemajava.io.FileNotFoundException
: HADOOP_HOME y hadoop.home.dir no están configurados.

La conexión remota local al clúster de Hadoop es anormal y el registro es el siguiente:

java.io.FileNotFoundException: HADOOP_HOME y hadoop.home.dir no están configurados.
en org.apache.hadoop.util.Shell.checkHadoopHomeInner(Shell.java:448)
en org.apache.hadoop.util.Shell.checkHadoopHome(Shell.java:419)
en org.apache.hadoop.util.Shell.( Shell.java:496)
en org.apache.hadoop.util.StringUtils.(StringUtils.java:79)
en org.apache.hadoop.fs.FileSystem $Cache$ Key.(FileSystem.java:2972)
en org.apache.hadoop.fs.FileSystem$Cache$ Key.(FileSystem.java:2968)
en org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2830)
en org.apache.hadoop.fs.FileSystem.get(FileSystem. java:389)
en org.apache.hadoop.fs.FileSystem$1.run(FileSystem.java:171)
en org.apache.hadoop.fs.FileSystem$1.run(FileSystem.java:168)
en java.security.AccessController .doPrivileged(Método nativo)
en javax.security.auth.Subject.doAs(Subject.java:422)
en org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1844)
en org.apache.hadoop.fs .FileSystem.get(FileSystem.java:168)
en com.demo.zhulong.utils.FileUtils.uploadToHdfs(FileUtils.java:209)
en com.demo.zhulong.controller.ImagesController.upload(ImagesController.java:151)

La descripción del registro es muy clara: HADOOP_HOME y hadoop.home.dir no están configurados. ¿Para qué se utilizan principalmente estos dos elementos? Es la dirección de Hadoop configurada en la variable de entorno local. ¿Necesito descargar la versión de Windows de Hadoop para configurarlo? Si se conecta de forma remota a un clúster de Hadoop en Linux, no es necesario descargar e instalar la versión de Hadoop para Windows. ! !

Al conectarse al sistema Hadoop de forma local y remota, debe configurar las variables Hadoop relacionadas localmente, incluidas principalmente hadoop.dll y winutils.exe.

winutils:

Dado que hadoop está escrito principalmente en base a Linux, winutil.exe se utiliza principalmente para simular el entorno de directorio en Linux. Cuando Hadoop se ejecuta en Windows o cuando se llama a un clúster remoto de Hadoop, se requiere la ejecución de este programa auxiliar. winutils es un archivo binario en Windows que es adecuado para diferentes versiones de sistemas Hadoop y está integrado en una máquina virtual de Windows, que se utiliza para probar aplicaciones relacionadas con Hadoop en sistemas Windows.

Solución:
después de comprender el motivo, puede descargar las winutils correspondientes según la versión del clúster de Hadoop instalado.

Dirección de descarga: https://github.com/steveloughran/winutils

Nota:

Si la misma versión no está disponible, puede elegir la versión más cercana para descargar y usar. Si la versión utilizada en el clúster es 2.8.5, puede descargar y utilizar el archivo de versión 2.8.3.

Configure la variable de entorno %HADOOP_HOME% para que apunte al directorio encima del directorio BIN que contiene WINUTILS.EXE. Ahora mismo:

1. Agregar variables del sistema
   
2. Copie la carpeta bin en la carpeta 2.8.3 y la dirección de almacenamiento es la siguiente:
   
3. Reinicia la idea y reaparece, el problema está resuelto.

Nota:

No es necesario descargar e instalar la versión de Windows de Hadoop, solo necesita introducir winutils.exe.

Enlace de referencia
https://www.itsvse.com/thread-7093-1-1.html

https://blog.csdn.net/darkdragonking/article/details/72636917
——————————————
Declaración de derechos de autor: este artículo es un artículo original del blogger de CSDN "Play Secretly", siga el acuerdo de derechos de autor CC 4.0 BY-SA, adjunte el enlace de la fuente original y esta declaración al reimprimir.
Enlace original: https://blog.csdn.net/HeyShHeyou/article/details/103441110
https://blog.csdn.net/HeyShHeyou/article/details/103441110