WARN deploy.SparkSubmit$$anon$2: Failed to load org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount.

前言

今天运行Spark Structured Streaming官网的如下

./bin/run-example org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount localhost 9999

报了 WARN deploy.SparkSubmit$$anon$2: Failed to load org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount.截图如下:

解决方案

是spark-examples_2.11-2.4.5.jar里面内容不全导致的,去官网下载spark安装包,并将服务器上的examples\jars 下面的spark-examples_2.11-2.4.5.jar替换掉重新运行即可。

解决过程

刚开始看到这个错误,第一反应是环境变量出了问题,没有找到,然后去查看环境变量发现没问题。

然后就去另一台服务器运行同样命令,执行成功了。然后查看了下spark-examples_2.11-2.4.5.jar文件是存在的。这个时候就很郁闷,随便检查了下其它配置也都一样,但是真相只有一个,肯定有一个地方配置的不对。于是乎~我就把两台服务器的文件弄到了本地,并使用Beyond Compare工具进行一个个对比,果然发现了问题,spark-examples_2.11-2.4.5.jar文件在出错的那台服务器居然才1KB,而正常的那台服务器是1971KB,原来是包里面缺少内容导致的,于是我忙紧把正常包在服务器进行替换,然后重新运行就好了。

具体为什么包会变小,还没找到原因。

猜你喜欢

转载自www.cnblogs.com/shun7man/p/12673153.html