记一次--------spark 读 mysql 报错no suitable driver

报错日志如下：

 

意思是：没有合适的驱动，

按道理来说，如果找不到Java的driver驱动应该会报错为：class not found mysql.jdbc.driver 。 

但是不知道为啥报错这个。

 

解决方法：在脚本中添加--driver-class-path 指定mysql-connection jar包。 即可！！！

脚本如下

 1 #!/bin/bash
 2  
 3 source ~/.bash_profile
 4  
 5 APP_HOME=/root/y
 6  
 7 echo $APP_HOME
 8  
 9 ################################# spark job ###########################################
10  
11 for f in $APP_HOME/lib/*.jar; do
12  
13 app_CLASSPATH=$f,${app_CLASSPATH}
14  
15 done
16  
17 len=${#app_CLASSPATH}-1
18  
19 JAR_PATH=${app_CLASSPATH:0:len}
20  
21 spark-submit --master yarn \
22 --deploy-mode client \
23 --num-executors 4 \
24 --executor-cores 1 \
25 --executor-memory 1g \
26 --class com.pateo.x37.EcoDriving \
27 --driver-memory 1g \
28 --jars $JAR_PATH \
29 --driver-class-path /root/y/lib/mysql-connector-java-5.1.6.jar \
30 $APP_HOME/DFclout.jar
31  
32  
33  
34 ###### 执行异常与否判断
35  
36 rc=$?
37  
38 if [[ $rc != 0 ]]; then
39  
40 echo "`date "+%Y-%m-%d %H:%M:%S"` Spark job run failed......"
41  
42 exit 1
43  
44 else
45  
46 echo "`date "+%Y-%m-%d %H:%M:%S"` Spark job run successfully......."
47  
48 fi

 

 

后续，查看spark-submit —help

意思为： 要传递给驱动程序的额外类路径项。注意，用——jars添加的jar会自动包含在类路径中。

但是在我的脚本中是有--jars的配置的，不知道为什么没有指定到mysql 的连接驱动