linux下运行jupyter，运行出错，有星号出现：in[*]

报错提示1：at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.waitForAppl
报错提示2：Error initializing SparkContext
解决方案：
首先看一下Java版本 Java -version 和 javac -version 输出是否一致。若不一致：

在Linux系统里，#which Java 会出现几个Java路径，cd到这些路径里，#cd /usr/bin

当我们输入Java的时候系统就会在/usr/bin 里面找，然后我们看一下其属性：#file java*,发现这些都是连接，

连接到/etc/alternatives里面去，这里面是之前安装的Java，自然就和现在安装的不匹配。

解决方法是把他们删除，或者弄成备注，使他们不起作用。#mv Java Java.bak

这样就输出一致了，Java的问题的到解决。

报错的代码：

at org.apache.spark.network.client.TransportClient$3.operationComplete(TransportClient.java:249)
    at org.apache.spark.network.client.TransportClient$3.operationComplete(TransportClient.java:233)
    at io.netty.util.concurrent.DefaultPromise.notifyListener0(DefaultPromise.java:514)
    at io.netty.util.concurrent.DefaultPromise.notifyListenersNow(DefaultPromise.java:488)
    at io.netty.util.concurrent.DefaultPromise.access$000(DefaultPromise.java:34)
    at io.netty.util.concurrent.DefaultPromise$1.run(DefaultPromise.java:438)
    at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:408)
    at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:455)
    at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:140)
    at io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:144)
    at java.lang.Thread.run(Thread.java:748)

这些代码的意思是，系统需要调这些包，调包是出现错误，故出现了这些东西。。。。。。。。

解决方法是：在yarn-site.sh中写入以下代码：

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

划重点，敲黑板：namenode和datanode都需要配置！重启！重启Hadoop！

继续重启spark，在yarn模式打开jupyter，可以运行了。

yarn模式启动jupyter：PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook"
HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop pyspark --master yarn --deploy-mode client

转载连接：https://blog.csdn.net/gg584741/article/details/72825713

还有：其实我的错误还有另外一个致命的，粗心的错误，就是配置spark-env.sh时，写Hadoop的环境变量时多写了一个w!!!

手残多打了一个字符，太粗心了。

linux下运行jupyter，运行出错，有星号出现：in[*]

猜你喜欢