Ao executar o jupyter no Linux, ocorre um erro durante a execução e um asterisco aparece: em [*]

• ---

  Mensagem de erro 1: em org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.waitForAppl

• Dica de erro 2: erro ao inicializar SparkContext

• solução:

• Primeiro, verifique se a saída da versão Java Java -version e javac -version são as mesmas. Se inconsistente:

      No sistema Linux, #which Java mostrará vários caminhos Java, cd para esses caminhos, #cd / usr / bin

Quando entrarmos em Java, o sistema o encontrará em / usr / bin, e então veremos seus atributos: #file java *, descobrimos que são conexões,

Conecte-se a / etc / alternative, que contém o Java instalado anteriormente, que naturalmente não corresponde à instalação atual.

A solução é excluí-los, ou torná-los anotações, para que não funcionem. #mv Java Java.bak

       Desta forma, a saída é consistente e o problema Java é resolvido.

• Erro de código:

• at org.apache.spark.network.client.TransportClient$3.operationComplete(TransportClient.java:249)
      at org.apache.spark.network.client.TransportClient$3.operationComplete(TransportClient.java:233)
      at io.netty.util.concurrent.DefaultPromise.notifyListener0(DefaultPromise.java:514)
      at io.netty.util.concurrent.DefaultPromise.notifyListenersNow(DefaultPromise.java:488)
      at io.netty.util.concurrent.DefaultPromise.access$000(DefaultPromise.java:34)
      at io.netty.util.concurrent.DefaultPromise$1.run(DefaultPromise.java:438)
      at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:408)
      at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:455)
      at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:140)
      at io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:144)
      at java.lang.Thread.run(Thread.java:748)

Esses códigos significam que o sistema precisa ajustar esses pacotes, e há um erro no ajuste do pacote, então essas coisas aparecem. . . . . . . .

A solução é: escreva o seguinte código em yarn-site.sh:

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

Concentre-se nos pontos-chave e acerte o quadro-negro: namenode e datanode precisam ser configurados! Reinicie! Reinicie o Hadoop!

Continue a reiniciar a centelha, abra o jupyter no modo de fio e ele pode ser executado.

yarn 模式 启动 jupyter ： PYSPARK_DRIVER_PYTHON = ipython PYSPARK_DRIVER_PYTHON_OPTS = "notebook"
HADOOP_CONF_DIR = / usr / local / hadoop / etc / hadoop pyspark --master yarn - cliente em modo de implantação

Link de reimpressão: https://blog.csdn.net/gg584741/article/details/72825713

Além disso: Na verdade, há outro erro fatal e descuidado em meu erro, ou seja, ao configurar spark-env.sh, escrevi um w extra !!!

 

A desvantagem atingiu mais um personagem, muito descuidado.