Cree un entorno pseudodistribuido independiente de Hadoop
Esta versión de prueba es ubuntu 16.04 como entorno del sistema
Uso de VMware Workstation 12 como máquina virtual
Esta vez no presentaremos CentOS y RedHat para construir un entorno pseudodistribuido independiente de Hadoop
hadoop 2.6.4 utilizado por hadoop
¡Bien, ahora comenzamos nuestro viaje de configuración del entorno Hadoop ! ! !
El primer paso:
Abra el terminal ubuntu . Si no hay un usuario hadoop, creamos un usuario hadoop
Use el comando sudo useradd -m hadoop-s / bin / bash
Aquí hay una breve reseña:
Usuarios y grupos
Usuario: multiusuario
Elementos centrales para la asignación de recursos por usuarios y grupos
Un grupo es un grupo de contenedores donde puede agregar usuarios o agregar permisos
Tipo de usuario:
Administrador 0
Usuarios del sistema: 1--499
Ejecute el programa en segundo plano (daemon )
Usuarios ordinarios: más de 500
Inicio de sesión: acceso interactivo
Categoría de grupo:
Grupo de administradores: 0
Grupo de sistema: 1-499
Grupo de usuarios: más de 500
Linux:
/ etc / passwd : información de la cuenta de usuario
/ etc / shadow : contraseña del usuario y configuración de cuenta relacionada
/ etc / group: información de la cuenta del grupo
/ etc / gshaow: información de contraseña de grupo
Use sudo cat / etc / group después de crear el usuario
Utilice sudo passwd hadoop para establecer la contraseña para hadoop
Sudo adduser hadoop sudo agrega permisos de administrador para usuarios de hadoop
Finalmente, use el comando de reinicio para reiniciar ubuntu e inicie sesión como usuario hadoop
El segundo paso:
Los usuarios de Hadoop actualizan la actualización después de iniciar sesión o algún software no funcionará
Utilizo la fuente espejo de nosotros , a veces la actualización es lenta o su hash es problemático, lo que indica que la fuente del software no puede encontrar recursos, puede cambiar la fuente del software. Se recomienda usar 163.
No diré nada sobre cambiar la fuente del software, y lo resolveré yo solo.
Luego instale el editor de texto de vim . Hay muchos tipos de nano vi vim (versión mejorada de vi) gedit (interfaz gráfica, se recomienda usarlo no muy familiar para vi o vim, pero aún tiene que aprender vi o vim en el futuro. Todos entienden). Para el gedit que acabo de contactar con Linux esta vez, porque es conveniente modificar el archivo de configuración xml y el archivo de script .sh modificado más adelante, acelerar la eficiencia y evitar errores.
Para el sistema con nano vi instalar vim es
Debido a que lo instalé, aparece la pantalla anterior. Si no está instalado, debería tener la opción de y / n . Ingrese y directamente.
El tercer paso:
Instale ssh para lograr el control remoto
Ubuntu instala el cliente ssh por defecto y luego podemos instalar el servidor directamente
El comando es:
La mía ha sido instalada y aparece la pantalla de arriba
Hay muchas herramientas de control remoto en Xshell secureCRT
Escribo ifconfig para ver ip
Yo uso Xshell5 para conectarme a ubuntu
El cuarto paso:
Instalar java jdk jre
Después de instalar OpenJDK , debe encontrar la ruta de instalación correspondiente, que se utiliza para configurar la variable de entorno JAVA_HOME.
Use sudo gedit ~ / .bashrc para editar y crear variables de entorno.
export JAVA_HOME = Ruta de instalación de JDK
Entre ellos, debe usar el comando source ~ / .bashrc para que la variable surta efecto.
Finalmente use el comando anterior para verificar que las variables de entorno java que instalamos son válidas. Si funciona, continuamos con el siguiente paso. De lo contrario, configure el entorno java. De lo contrario, el siguiente paso no es posible.
El quinto paso:
Instalar hadoop
Estoy usando hadoop-2.6.4.tar.gz
Lo puse en el escritorio. Lo obtuve de la ventana y lo arrastré a ubuntu. Para realizar esta función, debe iniciar y reinstalar las herramientas de vmware para usarlo (puede crear una carpeta compartida y usar la transferencia de archivos ftp y muchos otros métodos)
Sugiero descargar directamente en Internet en ubuntu y luego buscar el archivo en la descarga. Para probar si puede conectarse a Internet, use ping www.baidu.com y otros métodos.
Luego, instale hadoop a continuación. Mi paquete de instalación se coloca en el escritorio. Se recomienda instalarlo en el mismo entorno que Java.
Modificar permisos
Sudo chown -R hadoop ./hadoop
Use el siguiente comando para verificar la versión de hadoop
Déjame escribir un poco sobre los permisos:
Chown : solo el administrador tiene permiso para cambiar el propietario del archivo
Chown USERNAMEfile, ... -R modifica recursivamente el propietario de los archivos internos del directorio y sus subfiles
- referencia = / ruta / a / archivo de archivo, ...
#chgrp GRPNAMEfile ... -R --reference = / path / to / somefile file, ...
Nombre de usuario de Chown: archivo GROUP ....
Chown USERANME.GROUP file ...
Chmod: modificar permisos de usuario
Modificar los permisos de tres tipos de usuarios.
Chmod más archivo ...
-R
- referencia = / ruta / a / archivo de archivo, ...
Rwxr-x ---
Modificar los permisos de ciertos usuarios o ciertos tipos de usuarios
U g o a
Tipo de usuario de Chmod = MÁS archivo ...
Modificar los permisos de ciertos usuarios o ciertos usuarios
U g o a
Tipo de usuario de Chmod + (-) MÁS archivo ...
El sexto paso:
Hadoop no está distribuido de forma predeterminada, es decir, un solo proceso de Java . A continuación, realizamos una configuración pseudodistribuida
Hadoop archivo de configuración se encuentra en / usr / local / hadoop / etc / hadoop / Luego de entrar en el fichero de configuración, los cambios de maquillaje, tenemos que modificar un núcleo site.xml y hdfs-site.xml uso sudo gedit./etc/hadoop/core -site.xml
El archivo core-site.xml modificado es la siguiente captura de pantalla:
Del mismo modo: la captura de pantalla de la modificación de hdfs-site.xml es la siguiente:
Paso 7: iniciar hadoop
./bin/hdfs -format NameNode formato NameNode recuerde que debe instalar hadoop bajo el contenedor en uso
El 0 en el camino indica que ha tenido mucho éxito para continuar nuestra operación a continuación. Estamos a punto de tener éxito, ¡vamos! ! ! Si algo sale mal, entonces verifique qué está mal.
./sbin/start-dfs.sh abierta NameNode y DataNode demonio. La primera vez, aparecerá una advertencia, sí .
Jps para ver si se abre con éxito.
Si puede fallar, elimine log tmp usando el formato de archivo rm -r ./deleted
Paso 8: después de un inicio exitoso, puede acceder a la interfaz web para ver información relacionada
Use su dirección IP en rojo y el número de puerto es 50070 para ver la información
Esto ha sido exitoso. Jaja, jaja, genial! ! !
Paso 9:
Añadir ruta :
Debido a que las operaciones anteriores deben realizarse bajo el hadoop instalado , es más problemático. Utilizamos la variable de entorno de ruta para permitirnos abrir nuestro servicio en cualquier directorio.
Modificar el archivo ~ / .bashrc es similar a modificar la configuración JAVA_HOME
, Pro, finalmente recuerde operar source ~ / .bashrc para que la configuración surta efecto.
Escanee el código y siga la cuenta pública para obtener más información.
