Chispa en un entorno de desarrollo Linux para construir

La información general versión entorno de desarrollo es el siguiente:

4, versión Scala: scala-2.12.6.tgz

6, la versión de chispa: chispa-2.3.0-bin-hadoop2.7.tgz

7, versión zookeeper: zookeeper-3.4.10.tar.gz

8, la versión de la colmena:

9, la versión de Kafka:

10, los clústeres de servidores: 192.168.0.110 (maestro), 192.168.0.111 (esclavo1), 192.168.0.112 (esclavo2)

Una, la instalación de Java

1, el paquete de instalación del JDK para cargar el directorio / / / lib locales usr y descomprimir

2. Descomprimir la carpeta con los otros dos telar

3, tres servidores son variables bigdata entorno de usuario Modificar

4, validar la configuración y verificación

Dos, la instalación hadoop

1. Crear un bigdata directorio bajo el directorio personal del usuario bigdata, cargar y extraer el paquete de instalación hadoop

2, el archivo de configuración hadoop en el directorio, modifique la configuración de hadoop

3, core-site.xml modificado, añadir el contenido de la caja roja

4, modificar hdfs-site.xml, y crea el directorio

5, hilado-site.xml modificado

6, los trabajadores Modificar (las versiones más antiguas como esclavos)

7, modificar hadoop-env.sh, aumentar JAVA_HOME

8, el maestro superior configurada hadoop distribuido a cada esclavo

9, sólo tiene que configurar las variables de entorno en el bigdata maestro de usuario

10, las variables de entorno surtan efecto y comprobar

11, HDF primera ejecución, es necesario formatear los hdfs [hdfs NameNode -format], y luego empezar a hdfs] [start-dfs.sh

12, para la dirección IP pueden acceder http://192.168.0.110:9870【192.168.0.110 maestro, la versión antigua del puerto hadoop 50070] vistazo a si el despliegue se realiza correctamente; Para detener hdfs, el uso [] stop-dfs.sh

13, también puede introducir el nombre de JPS, ver si el siguiente proceso

14, el hilo de partida [start-yarn.sh]

15, visita http://192.168.0.110:8088/cluster, para ver si el hilo está funcionando correctamente, el hilo dejar de usar] [stop-yarn.sh

16, también puede introducir el nombre de JPS, ver si el siguiente proceso

En resumen, la agrupación hadoop instalado!

Tres, la instalación Scala

1, el interruptor para el usuario root, carga y descarga Scala en el directorio / lib / usr / local, entonces el extracto

2, después de la distribución de documentos a esclavo1 extracto y esclavo2

scp -r scala-2.12.6 root @ esclavo1: / usr / local / lib locales

scp -r scala-2.12.6 root @ esclavo2: / usr / local / lib locales

3, las variables de entorno de usuario Modificar respectivamente bigdata en tres servidores

4. Verificar si la variable de entorno que tenga efecto

5, ejecute el comando Scala para verificar que la instalación se ha realizado correctamente, y presione Ctrl + Z para salir

Cuatro, instalación de Python

1, pyspark que se ejecuta en el clúster, es necesario instalar gcc y Zlib paquetes de software relacionados

yum -y install gcc *

2, la pitón descarga paquete de instalación y de carga, y el extracto a continuación,

3, escriba / usr / local / lib /, modificar Módulos / Setup.dist [Configuración] es una versión más antigua, encontrar la línea roja, y retirar el comentario

4, ./configure ejecución

5, maquillaje

6, make install

7, ver la versión original pitón sistema, y de cambio de nombre

8, Modificar / usr / bin / yum

9, re-establecer la conexión suave pitón

7, comando python ejecutar para comprobar si la instalación

Cinco, la instalación de chispa

1, archivos de carga y descarga para instalar chispa bigdata directorio bigdata en el directorio inicial del usuario, y luego descomprimir

2, los esclavos de configuración

3, la configuración spark-env.sh

4, la chispa configurado para distribuir esclavo1 arriba y esclavo2

scp -r ~ / bigdata / chispa-2.3.0-bin-hadoop2.7 bigdata @ esclavo1: ~ / bigdata

scp -r ~ / bigdata / chispa-2.3.0-bin-hadoop2.7 bigdata @ esclavo2: ~ / bigdata

5, configurar las variables de entorno en el maestro

source ~ / .bash_profile

6, iniciar la chispa

7, confirman que la chispa se ha iniciado [Comando JPS, o visite http://192.168.0.110:8080]

8, los códigos de salida de prueba chispa [ctrl + z]

Seis, instalación empleado del zoológico

1, zookeeper descargar y cargar archivos, y luego descomprimir

2, modificar el archivo de configuración

3, crear una configuración de perfil directorio

4, se configurará para distribuir empleado del zoológico esclavo1 y esclavo2

5, cada nuevo archivo en el servidor 3 ~ / bigdata / cuidador del zoológico directorio / datos y modificar myid

MyID el contenido principal: 0

El contenido de esclavo1 myid: 1

El contenido de esclavo2 myid es: 2

6, respectivamente, para iniciar el servidor de tres nodos zk Servicio

7, ver el estado de ZK en cada servidor

Siete, la instalación de la colmena

Instalación: yum install -y mysql-server

Inicio: servicio de mysqld start

Cambio de la contraseña de root: 'root' mysqladmin -u contraseña de root

Crear una base de datos de la colmena y la autorización:

2, descargar y cargar el paquete de instalación de la colmena, y luego descomprimir

3, introduzca el directorio de configuración [/home/bigdata/bigdata/apache-hive-2.3.3-bin/conf], modifique el archivo de configuración de colmena-site.xml

4, editar hive-env.sh

5, descargue el controlador JDBC de MySQL mysql-connector-java-5.1.44-bin.jar, cargados /home/bigdata/bigdata/apache-hive-2.3.3-bin/lib

6, variable de entorno de configuración maestro

source ~ / .bash_profile

7, cree un directorio dentro de la configuración de colmena-site.xml y autorización

8, especifique el tipo de base de datos e inicializa la colmena

9, verificar la instalación de bases de datos MySQL colmena fue exitosa colmena [base de datos] tabla de abajo si hay

10, antes de ejecutar el mosto colmena primero asegúrese de que el servicio de almacén meta se ha puesto en marcha: para crear un directorio de registro de los registros de funcionamiento de la colmena, a continuación, ejecute COLMENA