找不到JDBC驱动程序

Question

因此，我一直在使用sbt with assembly将所有依赖项打包到一个jar中，用于spark工作。我做了几个工作，使用C3P0设置连接池信息，将其广播出去，然后在RDD上使用foreachpartition获取连接，并将数据插入数据库。在我的sbt构建脚本中，我包括

"mysql" % "mysql-connector-java" % "5.1.33"

这确保JDBC连接器与作业打包在一起。一切都很好。

因此，最近我开始使用SparkSQL，并意识到使用1.3.0中的新特性，简单地获取一个dataframe并将其保存到jdbc源代码中要容易得多

java.sql.sqlException：没有为jdbc:mysql://some.domain.com/myschema?user=user&password=password在java.sql.drivermanager.getConnection（drivermanager.java:596)在java.sql.drivermanager.getConnection（drivermanager.java:233)

当我在本地运行这个时，我通过设置

SPARK_CLASSPATH=/path/where/mysql-connector-is.jar

最终我想知道的是，为什么工作不能找到驱动程序，而它应该与它一起打包？我的其他工作从来没有这个问题。据我所知，C3P0和dataframe代码都使用了java.sql.DriverManager（根据我所知，它处理为您导入所有东西），所以它应该工作得很好？？如果存在阻止汇编方法工作的东西，我需要做什么才能使其工作？

Answer 1

此人也有类似问题:http://apache-spark-user-list.1001560.n3.nabble.com/how-to-use-dataframe-with-mysql-td22178.html

您是否已将连接器驱动程序更新到最新版本？另外，在调用load（）时是否指定了驱动程序类？

Map<String, String> options = new HashMap<String, String>();
options.put("url", "jdbc:mysql://localhost:3306/video_rcmd?user=root&password=123456");
options.put("dbtable", "video");
options.put("driver", "com.mysql.cj.jdbc.Driver"); //here
DataFrame jdbcDF = sqlContext.load("jdbc", options); 

在spark/conf/spark-defaults.conf中，还可以将spark.driver.extraclasspath和spark.executor.extraclasspath设置为MySql driver.jar的路径