Spark：异常在线程"main"java.lang.ClassNotFound异常：com.mysql.jdbc.驱动程序

Question

我在spark中编写了一个简单的程序，在mySql中向表中写入一个数据帧。

计划如下：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.hive.HiveContext

import org.apache.spark.SparkContext._
import org.apache.spark.rdd._
//import org.apache.spark.rdd.RDD

import org.apache.spark.sql.types._
import org.apache.spark.sql.Row;

import java.util.Properties

import java.sql.{ Connection, DriverManager, SQLException }

object MySQLTrial {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setAppName("AnalyseBusStreaming")
    val sc = new SparkContext(sparkConf)
    val df = sc.parallelize(Array((1, 234), (2, 1233)))
    val sqlContext = new org.apache.spark.sql.SQLContext(sc)
    import sqlContext.implicits._
    val prop = new Properties()
    prop.put("user", "admin")
    prop.put("password", "admin")

    val driver = "com.mysql.jdbc.Driver"
    Class.forName(driver)
    val dfWriter = df.toDF().write.mode("append")
    dfWriter.jdbc("jdbc:mysql://127.0.0.1:3306/IOT_DB", "table1", prop)
  }
}

我的项目的POM文件如下

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>ggi.bigdata</groupId>
    <artifactId>internet_of_things</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>1.6.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.10</artifactId>
            <version>1.6.0</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>
    </dependencies>
</project>

我运行这个程序使用火花提交（尝试在本地和纱线模式）。我没有显式包含任何jar文件来运行此代码。我一直得到错误：

线程“main”java中出现异常。lang.ClassNotFoundException:com.mysql。jdbc。驾驶员

对此该怎么办？

Answer 1

埃利亚萨是对的。M2Eclipse确实创建了一个jar文件，但它不是fat/uber jar。如果我在eclipse上显式安装“maven assembly”插件，我就能够创建一个包含依赖项jar的胖jar，从而运行程序。

Answer 2

这是因为你提交给集群的uber jar中没有你的驱动程序，无论它是独立集群还是纱线或mesos等等。

解决方案1：因为您使用的是maven，所以可以使用assembly插件来构建uber jar，其中包含所有需要的依赖项。有关maven assembly插件的更多信息，请点击此处。

解决方案2：使用--jars选项提交应用程序时，在运行时提供这些依赖项库。我建议您阅读官方文档中有关高级依赖关系管理和提交应用程序的更多信息。

e、 g它可以是这样的：

./bin/spark-submit \
  --class <main-class>
  --master <master-url> \
  --jars /path/to/mysql-connector-java*.jar

我希望这有帮助！