做大数据项目,环境搭建好了,jar包也导出了,放到ubuntu中运行,使用Spark中DataFrame往Mysql中插入RDD出现了下列错误:
我明明安装了mysql,而且也导入了其jar包,后来网上搜索到了解决方法
方法1.发现提交的作业可以通过加入--driver-class-path
参数来设置driver的classpath,
./bin/spark-submit --driver-class-path /home/airuo/mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar --class recommend.MovieLensALS /home/airuo/Film_Recommend_Dataframe.jar file:///home/airuo/Downloads/input_spark 1
方法2.在spark安装包的conf/spark-env.sh通过配置SPARK_CLASSPATH来设置driver的环境变量,如下:
|
两种方法不能一起使用