包含mysql连接器的spark-submit命令

Question

我有一个scala对象文件，它内部查询mysql表，做一个连接，并把数据写到s3，测试了我的代码在本地运行得非常好。但是当我将它提交给集群时，它会在错误下面抛出：

nohup spark-submit --class QuaterlyAudit --master yarn-client --num-executors 8 
--driver-memory 16g --executor-memory 20g --executor-cores 10 /mypath/campaign.jar &

name := "mobilewalla"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "2.0.0" % "provided",
  "org.apache.spark" %% "spark-sql" % "2.0.0" % "provided",
  "org.apache.hadoop" % "hadoop-aws" % "2.6.0" intransitive(),
  "mysql" % "mysql-connector-java" % "5.1.37")

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs@_*) =>
    xs.map(_.toLowerCase) match {
      case ("manifest.mf" :: Nil) |
       ("index.list" :: Nil) |
       ("dependencies" :: Nil) |
       ("license" :: Nil) |
       ("notice" :: Nil) => MergeStrategy.discard
  case _ => MergeStrategy.first // was 'discard' previousely
}
  case "reference.conf" => MergeStrategy.concat
  case _ => MergeStrategy.first
}
assemblyJarName in assembly := "campaign.jar"

我还尝试了：

nohup spark-submit --driver-class-path /mypath/mysql-connector-java-5.1.37.jar 
--class QuaterlyAudit --master yarn-client --num-executors 8 --driver-memory   16g 
--executor-memory 20g --executor-cores 10 /mypath/campaign.jar &

但还是没有运气，我在这里错过了什么。

Answer 1

这是Spark无法获得JDBC jar的明显原因。很少有工作可以修复它。毫无疑问，许多人都面临着这个问题。这是由于Jar没有被上传到驱动程序和执行程序。

1. 您可能希望使用构建管理器(Maven，SBT)组装应用程序，这样就不需要在spark-submitCLI中添加dependecies。
2. 您可以在spark-submitcli中使用以下选项:--jars$(echo./lib/*.jar tr''',')
3. 还可以尝试在spark_home/conf/spark-default.conf文件中配置这两个变量:spark.driver.extraclasspath和spark.executor.extraclasspath，并将这些变量的值指定为jar文件的路径。确保工作节点上存在相同的路径。