Antes de que termine hoy:
¡Aquí les deseamos a todos un feliz año nuevo!
Estos son los problemas y soluciones que he encontrado al aprender Spark recientemente (adecuado para Xiaobai)
1. ¿Cómo abrir el clúster de Hadoop?
respuesta:
Para abrir un clúster de Hadoop, puede abrirlo todo ingresando el comando: start-all.sh
También se puede abrir paso a paso, como abrir el clúster de hilo (responsable de la gestión de recursos) e ingresar el comando: start-yarn.sh
Luego abra el clúster hdfs (sistema de almacenamiento distribuido) e ingrese el comando: start-dfs.sh
2. ¿Cómo abrir el modo local de pychark (en este caso, es una operación independiente, no un clúster)?
respuesta:
Cambie a /export/server/spark/bin (la ruta varía de persona a persona)
Comando de entrada de directorio: ./pyspark
Puede ingresar el nodo 1: 4040 para abrir la página web y ver el estado de ejecución del programa.
Simplemente ingrese este comando para abrir el modo independiente de forma predeterminada
Si desea abrir pyspark, primero debe abrir el clúster de Hadoop
3. ¿Cómo abrir pychark (ejecutándose en Spark Cluster)?
respuesta:
Si desea abrir pychark para ejecutarlo en el clúster, debe ingresar la dirección del clúster, como lo que estoy aprendiendo ahora, después de abrir el clúster, abra la página web node1: 8080, luego copie la dirección anterior e ingrese el comando en la terminal: ./pyspark --master spark:/ /node1:7077
4. ¿Cómo abrir el servidor de historial de yarn?
respuesta:
Ingrese el comando: mr-jobhistory-daemon.sh iniciar historyserver
Si desea abrir el servidor de historial de chispa, ingrese el comando (en el directorio de chispa): sbin/start-history-server.sh
5. ¿Cómo configurar ssh para interpretar de forma remota el código python con un intérprete de clúster de Linux?
respuesta:
Primero conecte el nodo y el usuario correspondientes, y luego ingrese la contraseña del usuario
Luego complete la dirección del intérprete de python en linux, y la confirmación de la aplicación será exitosa.La premisa es que pycharm necesita una versión profesional (la versión crackeada también está disponible)
6. ¿Cómo enviar la solicitud de Spark?
respuesta:
Cargue el código del programa en el servidor y envíelo a través de la herramienta de cliente Spark-Submit.
Aviso:
No configure el maestro en el código, si configura la herramienta de envío de envío de chispa según el código, no será válido
Al enviar un programa al clúster para que se ejecute, el archivo de lectura debe ser una dirección a la que pueda acceder cada máquina, como la carga en HDFS. Si está en una máquina local Linux, cada máquina debe tener este archivo.
por fin:
¡Espero que todos tengan un feliz Año Nuevo chino en 2023! Comienza el nuevo año y vamos juntos al nuevo viaje. Les deseo a todos: Dazhanhong "conejo", dinero "conejo" como brocado, cejas "conejo" espíritu, "conejo" saludable. En el nuevo año, te deseo dinero "conejo" sin preocupaciones, dinero "conejo" como brocado, "conejo" repentinamente rico, gran desarrollo "conejo", cosas buenas vienen a "conejo".
Bueno, eso es todo por el intercambio de hoy, si hay algo que no está claro o escribí algo mal, ¡por favor denme su consejo!
Mensaje privado, comentame! ! ! ! ! !