Etapas detalhadas de instalação do Spark3

---

Prefácio

Este artigo registra as etapas detalhadas de instalação do spark-3.1.2. Recomenda-se salvá-lo e enrolá-lo silenciosamente ~~

---

1. Preparação antecipada

1. Máquinas de cluster sincronizam o tempo entre si
2. Login sem senha entre máquinas
3. Desligue o firewall em todas as máquinas
4. Todas as máquinas precisam instalar o JDK1.8
5. O ambiente Hadoop é melhor em 3.2

2. Carregue o pacote de instalação para Linux

Nome do pacote de instalação: spark-3.1.2-bin-hadoop3.2.tgz

Eu carreguei no diretório do software

3. Descompacte o pacote de instalação

Primeiro faça cd no diretório do software e, em seguida, descompacte o pacote de instalação no caminho /usr/local/

    [root@cq01 softwares]# tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz -C /usr/local/

Digite /usr/local e renomeie spark-3.1.2-bin-hadoop3.2.tgz para spark

    [root@cq01 softwares]# cd /usr/local/
    [root@cq01 local]# mv spark-3.1.2-bin-hadoop3.2/ spark

4. Arquivo de configuração

Vá para conf no caminho de instalação e configure-o.

    [root@cq01 local]# cd /usr/local/spark/conf/

1.spark-env.sh.template

Renomeie para spark-env.sh

[root@cq01 conf]# mv spark-env.sh.template spark-env.sh

Editar arquivo spark-env.sh

    [root@cq01 conf]# vi spark-env.sh

Adicione o caminho de instalação do jdk no final do documento

2.trabalhadores.modelo

Renomear para trabalhadores

    [root@cq01 conf]# mv workers.template workers

Adicione nós escravos de acordo com seus próprios nós (tenha cuidado para não escrever o nó mestre )

    [root@cq01 conf]# vi workers 

5. Distribua para outros nós

Retorne ao caminho local primeiro

    [root@cq01 conf]# cd /usr/local/

Distribuir o conteúdo configurado para outros nós ( distribuídos de acordo com o número de máquinas do seu próprio cluster )

    [root@cq01 local]# scp -r ./spark/ cq02:$PWD
    [root@cq01 local]# scp -r ./spark/ cq03:$PWD

6. Configure variáveis ​​de ambiente globais

Depois de configurar as variáveis ​​de ambiente globais, você pode usar o script em bin em qualquer lugar. Observe que você também deve configurar as variáveis ​​de ambiente de diversas outras máquinas.

    [root@cq01 local]# vi /etc/profile

    #spark environment
    export SPARK_HOME=/usr/local/spark
    export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

Reinicie as variáveis ​​de ambiente

    [root@cq01 local]# source /etc/profile

7. Inicie o cluster

Digite o diretório sbin no diretório de instalação

    [root@cq01 spark]# cd /usr/local/spark/sbin/

comece

    [root@cq01 sbin]# ./start-all.sh

Se o seguinte prompt aparecer, a inicialização estará concluída.

8. Verifique o processo

Use o comando jps para visualizar o processo. Aqui escrevi um processo para visualizar todas as máquinas do cluster.

    [root@cq01 sbin]# jps-cluster.sh 

O processo a seguir parece indicar que foi iniciado com sucesso

9. Acesso à web

A interface webUI fornecida pelo spark3.1.2 é a mesma da porta do tomcat, 8080 , então podemos acessá-la inserindo a URL http://Virtual machine Master's IP address: 8080 , e então a seguinte interface aparecerá

10. Verificação

Entre no diretório bin do spark e execute o seguinte comando

    [root@cq01 bin]# ./run-example SparkPi 5 --master local[1]

Se a seguinte interface aparecer, significa que a operação foi bem-sucedida.

---

Resumir

Neste ponto, a instalação do spark-3.1.2 foi concluída. Se você tiver alguma dúvida, fique à vontade para conversar.