Conexión en primer plano:
https://blog.csdn.net/m0_54925305/article/details/121566611?spm= 1001.2014.3001.5501Preparación del entorno:
| Numeración | nombre de la CPU | tipo | usuario | clave |
|---|---|---|---|---|
| 1 | maestro1-1 | nodo maestro | raíz | Contraseña |
| 2 | esclavo1-1 | nodo esclavo | raíz | Contraseña |
| 3 | esclavo1-2 | nodo esclavo | raíz | Contraseña |
chispa-2.0.0-bin-hadoop2.7.tgz
Nota: El código de extracción es: 0000
Despliegue del entorno:
1. El entorno de Hadoop debe estar preinstalado y verificar si el entorno de Hadoop está disponible, tomar capturas de pantalla y guardar los resultados.
1. Use el comando jps para ver el estado del clúster
2. Descomprima el paquete de instalación de Scala en la ruta "/usr/local/src", cambie el nombre a Scala, tome una captura de pantalla y guarde el resultado.
1. Ingrese al directorio /h3cu/ para encontrar el paquete comprimido
cd /h3cu/
2. Descomprimir Scala
tar -zxvf scala-2.11.8.tgz -C /usr/local/src3. Renombrar escala
mv scala-2.11.8 scala
3. Establezca la variable de entorno de Scala y haga que la variable de entorno tenga efecto solo para el usuario actual, tome una captura de pantalla y guarde el resultado
1. Agregue la variable de entorno Scala
vi /root/.bashrc
2. Hacer que la variable de entorno surta efecto inmediatamente
source /root/.bashrc4. Ingrese a scala y tome una captura de pantalla, tome una captura de pantalla y guarde el resultado
1. Ingrese el comando scala para ingresar a la interfaz scala
5. Descomprima el paquete de instalación de Spark en la ruta "/usr/local/src", cámbiele el nombre a chispa, tome una captura de pantalla y guarde el resultado.
1. Salga de la interfaz de scala
Use las teclas ctrl + c para salir de la interfaz de scala
2. Ingrese al directorio /h3cu/ para encontrar Spark
cd /h3cu/
3. Descomprimir chispa
tar -zxvf spark-2.0.0-bin-hadoop2.7.tgz -C /usr/local/src/4. Renombrar chispa
mv spark-2.0.0-bin-hadoop2.7 spark
6. Configure la variable de entorno Spark y haga que la variable de entorno tenga efecto solo para el usuario actual, tome una captura de pantalla y guarde el resultado
1. Agregar variables de entorno de Spark
vi /root/.bashrc
2. Hacer que la variable de entorno surta efecto inmediatamente
source /root/.bashrc7. Modifique la configuración de parámetros de Spark, especifique el nodo esclavo de Spark, tome capturas de pantalla y guarde los resultados
1. Ingrese al directorio /usr/local/src/spark/conf
cd /usr/local/src/spark/conf2. Cree un nuevo archivo de esclavos y escríbalo
vi slaves
Nota: El contenido de este archivo no debe contener muchos espacios inútiles u otros caracteres, y debe cumplir estrictamente con las especificaciones.
3. Cree un nuevo archivo spark-env.sh y escríbalo
vi spark-env.shexport JAVA_HOME=/usr/local/src/jdk1.8.0_221 export HADOOP_HOME=/usr/local/hadoop export SCALA_HOME=/usr/local/src/scala export SPARK_MASTER_IP=master1-1 export SPARK_MASTER_PORT=7077 export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath) export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_YARN_USER_ENV="CLASSPATH=/usr/local/hadoop/etc/hadoop" export YARN_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master1-1:2181,slave1-1:2181,slave1-2:2181 -Dspark.deploy.zookeeper.dir=/spark"
Nota: Entre ellos, los significados de los tres parámetros son: SPARK_DIST_CLASSPATH es la conexión entre spark y hadoop, HADOOP_CONF_DIR es el directorio que describe la información de configuración de hadoop, SPARK_MASTER_IP es la dirección IP o el nombre del nodo maestro en el clúster
4. Distribución de grupos
scp -r /usr/local/src/spark slave1-1:/usr/local/src/
scp -r /usr/local/src/spark slave1-2:/usr/local/src/scp -r /root/.bashrc slave1-1:/root/.bashrc
scp -r /root/.bashrc slave1-2:/root/.bashrc5. Asegúrese de que todas las variables de entorno de la máquina hayan tenido efecto
source /root/.bashrcNota: Las tres máquinas deben ejecutarse
8. Inicie Spark y use el comando para ver los resultados de webUI, tomar capturas de pantalla y guardar los resultados
1. Ingrese al directorio de instalación de Spark para iniciar Spark
sbin/start-all.shNota: asegúrese de que zookeeper se haya iniciado normalmente
2. Introduzca master1-1:8080 en el navegador para ver la interfaz de usuario web
3. Inicie el maestro en el lado esclavo
sbin/start-master.sh
Nota: a través de la observación, se puede ver que el estado maestro del nodo maestro está activo y el estado maestro del nodo esclavo es el estado de espera, es decir, el clúster se está ejecutando correctamente.
Implementación del componente Spark (versión MINI) completada
¡Lo que no puede vencerte te hará más fuerte!