SQLException:Spark 找不到Mysql驱动解决方法

做大数据项目,环境搭建好了,jar包也导出了,放到ubuntu中运行,使用Spark中DataFrame往Mysql中插入RDD出现了下列错误:

 我明明安装了mysql,而且也导入了其jar包,后来网上搜索到了解决方法

方法1.发现提交的作业可以通过加入--driver-class-path参数来设置driver的classpath,

./bin/spark-submit  --driver-class-path /home/airuo/mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar --class recommend.MovieLensALS /home/airuo/Film_Recommend_Dataframe.jar file:///home/airuo/Downloads/input_spark 1

方法2.在spark安装包的conf/spark-env.sh通过配置SPARK_CLASSPATH来设置driver的环境变量,如下:

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/iteblog/com/mysql-connector-java-5.1.35.jar

两种方法不能一起使用 

发布了47 篇原创文章 · 获赞 7 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/floraruo/article/details/94353821