error Spark integración Yarn Apache o no puede ver la solución de registro

error de integración de hilos o no se puede ver la solución de registro

El primer paso: Modificar hadoop de hilo site.xml

vim /export/servers/hadoop/etc/hadoop/yarn-site.xml

       <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>node01</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
<!-- 关闭YARN内存检查 -->
	<property>
                <name>yarn.nodemanager.pmem-check-enabled</name>
                 <value>false</value>
        </property>
        <property>
                    <name>yarn.nodemanager.vmem-check-enabled</name>
                    <value>false</value>
        </property>
	<!-- 如果开启如下配置则需要开启Spark历史服务器
	<property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>
        <property>
                <name>yarn.log.server.url</name>
                <value>http://node01:19888/jobhistory/logs</value>
        </property>
	-->

Paso Dos: distribuir el archivo de configuración para cada nodo

El tercer paso: reiniciar los servicios de Hadoop

/export/servers/hadoop/sbin/stop-dfs.sh
/export/servers/hadoop/sbin/stop-yarn.sh
/export/servers/hadoop/sbin/start-dfs.sh
/export/servers/hadoop/sbin/start-yarn.sh

historia de la consolidación de servidores hilado y de la historia de la chispa del servidor

configuración del servidor historia HILO 1. Encienda y arranque

/export/servers/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

2. Spark configurar el servidor de registro [referencia a los siguientes capítulos]

3. Modificar la chispa-defaults.conf

vim /export/servers/spark/conf/spark-defaults.conf

spark.yarn.historyServer.address node01:4000

4. Puesta en servicio Spark HistoryServer

/export/servers/spark/sbin/start-history-server.sh

5. Si el paquete Jar más dependientes se pueden cargar en el HDFS y le dijo a buscar HILO

Dispuesto en la chispa default.conf

spark.yarn.jars = hdfs://node01:8020/sparkjars/*

Después de configurar cada nodo se pondrán a la HDFS descargado y almacenado en caché
cada nodo si no Spark programa de configuración comenzará a distribuir empaquetado Spark_HOME

configuración del servidor de registro de la historia de chispa

Por defecto, el programa Spark tiene en ejecución haya terminado, cierre la ventana, no se puede ver el registro de la interfaz de usuario Web (4040), y por HistoryServer puede proporcionar un servicio al leer el archivo de registro para que podamos ejecutar al final del programa, todavía puede visión durante la operación

1. Modificar el nombre del archivo

cd /export/servers/spark/conf
cp spark-defaults.conf.template spark-defaults.conf

2. modificar la configuración

vim spark-defaults.conf

spark.eventLog.enabled true
spark.eventLog.dir hdfs://node01:8020/sparklog

3. Nota: El directorio de la necesidad de crear manualmente hdfs

hadoop fs -mkdir -p /sparklog

4. Modificar spark-env.sh

vim spark-env.sh
SPARK_HISTORY_OPTS exportación = "- Dspark.history.ui.port = 4,000 -Dspark.history.retainedApplications = 3 -Dspark.history.fs.logDirectory = hdfs: // node01: 8020 / sparklog"

5. sincronizar archivos

scp -r / exportación / servidores / chispas / conf / @ node02: / export / servidores / chispas / conf /
scp -r / exportación / servidores / chispas / conf / @ node03: / export / servidores / chispas / conf /

6. Reiniciar el cluster

/export/servers/spark/sbin/stop-all.sh
/export/servers/spark/sbin/start-all.sh 

7. Poner en marcha un servidor de registro en el maestro

/export/servers/spark/sbin/start-history-server.sh

8. Vista del puerto de registro de la historia en 4000 (si la carga no sale para tratar de cambiar el navegador)

http://node01:4000/

9. Si tiene acceso de escritura a preguntas Hadoop HDFS:

org.apache.hadoop.security.AccessControlException
Solución: Añadir la siguiente configuración hdfs-site.xml, la verificación de la autoridad de cierre

<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>