Descargar chispa: http://spark.apache.org/downloads.html
versión chispa: chispa-3.0.0-preview2-bin-hadoop2.7
En primer lugar, la carga y descarga de extraer el paquete de instalación
tar -xvf chispa-3.0.0-preview2-bin-hadoop2.7.tar -C / opt / módulos /
En segundo lugar, los archivos de configuración de forzado, los archivos de configuración se encuentran en el directorio de instalación de la carpeta conf
/opt/modules/spark-3.0.0-preview2-bin-hadoop2.7/conf
1, modificar el archivo spark-env.sh
[hadoop @ centos01 conf] $ cp chispa env.sh.template por chispa env.sh [hadoop @ centos01 conf] $ vi chispa - env.sh export JAVA_HOME = / opt / modules / jdk1. 8 .0_181 SPARK_MASTER_IP exportación = centos01 SPARK_MASTER_PORT exportación = 7077
En tercer lugar, iniciar
sh / opt / modules / por chispa 3.0 . 0 -preview2-bin-hadoop2. 7 /sbin/start-master.sh
[hadoop @ centos04 conf] $ sh / opt / modules / por chispa 3.0 . 0 -preview2-bin-hadoop2. 7 / sbin / puesta en master.sh partir org.apache.spark.deploy.master.Master, el registro en / opt / módulos / por chispa 3,0 . 0 -preview2-bin-hadoop2. 7 /logs/spark-hadoop-org.apache.spark.deploy.master.Master- 1 -centos04. fuera [hadoop @ centos04 conf] $
En cuarto lugar, la vista nodo
[hadoop @ centos04 conf] $ JPS 10579 Maestro 11427 Jps [hadoop @ centos04 conf] $
prueba de cinco
http: // 192.168.0.181:8080/
Conexión por chispa la cáscara SH / opt / módulos / por chispa 3.0 . 0 . -Preview2-bin-hadoop2 . 7 / bin / --master el Spark shell-Spark: // 192.168.0.181:7077
[hadoop @ centos04 conf] $ sh / opt / modules / por chispa 3.0 . 0 -preview2-bin-hadoop2. 7 / bin / encendido por chispa cáscara --master: // 192.168.0.181:7077 20 / 03 / 21 de 00 : 40 : 22 WARN NativeCodeLoader: No se puede cargar la biblioteca-hadoop nativa para su plataforma ... usando clases incorporado en Java donde aplicable Usando Spark ' s perfil predeterminado log4j: org / apache / chispas / log4j-defaults.properties Ajuste predeterminado nivel de registro como " WARN " . Para ajustar el uso de nivel de registro sc.setLogLevel (newlevel). Para SparkR, el uso setLogLevel (newlevel). Interfaz de usuario web chispa contexto disponible en http: // centos04: 4040 contexto chispa disponibles como ' sc ' (maestro = chispa: // 192.168.0.181:7077, aplicación de id = app-20200321004034-0000). Sesión de chispa disponibles como ' chispa ' . Bienvenido a ____ __ / __ / __ ___ _____ / / __ _ \ \ / _ \ / _ `/ __ / ' _ / / ___ / .__ / \ _, _ / _ / / _ / \ _ \ versión 3.0 . 0 - preview2 / _ / Uso de Scala versión 2.12 . 10 (Java HotSpot (TM) 64 -Bit servidor VM, Java 1.8 .0_181) Tipo de expresiones de evaluarlas. Tipo: ayuda para más información. Scala > : dejar de fumar [hadoop @ centos04 conf] $
final