Spark--添加了jar选项jar不工作
我正在尝试使用spark-submit选项添加redshift jar：
在Spark 2.1.0上运行命令
spark-submit--类测试--主spark:/xyz.local:7077--executor-cores 4--总-executor-cores 32--executor-memory 6G--驱动程序-memory 4G--驱动程序-cores 2--部署模式集群-jars S3a:/d11-batch-jobs-on-spark/jars/redshift-jdbc42-1.2.10.1009.jar,S3a://mybucket/jars/spark-redshift2.11-3.0.0-preview1.jar S3a://mybucket/jars/app.jar
在代码中，我从redshift表读取，但获得ClassNotFoundException：com.databricks.spark.redshift.DefaultSource
我做错了什么？
共有1个答案
我在使用--jars时也遇到了问题...
我的建议是，对于Maven存储库中的包，使用--packages而不是--jars，因为它可以解决与这些包相关的其他依赖关系。
spark-submit --packages <groupId>:<artifactId>:<version>
在您的情况下,除了所有其他选项和参数外,它看起来如下所示：
spark-submit --packages com.amazon.redshift:redshift-jdbc42:1.2.10.1009
-
是的...已经讨论了很多了。 但是，有很多不明确的地方，提供了一些答案...包括在jars/executor/driver配置或选项中重复jar引用。 类路径的影响 驱动程序 执行程序（用于正在运行的任务） 两者 一点也不 对于任务（对每个执行者） 用于远程驱动程序（如果在群集模式下运行） 方法 方法 或 或 不要忘记，spark-submit的最后一个参数也是一个.jar文件。 如果我从文档中猜
-
问题内容： 我不是要问正确的问题，而是想清除我的疑问。 实际上，我遇到了从jar文件引用类文件的情况。我的意思是说我有一个后端Java项目，其中包含application-context.xml文件的ABC。 现在，我创建了ABC项目的jar文件，并在一个基于Web的应用程序中使用了它。 在这里，我遇到了一个问题，即bean无法自动装配，并知道问题是，当我使用Eclipse导出ABC项目的jar文
-
我在纱线簇上使用Spark2.1(BTW)。 我正在尝试在纱线集群上传罐子，并使用它们来替代现场（alreading in-place）火花罐子。 我正试图通过Spark-Submit这样做。 “--jars”用于在每个节点上上传jar “--driver-class-path”用于将上载的jar用于驱动程序。 “--conf spark.executor.extraclasspath”用于将上载
-
真的...已经讨论了很多。 然而，有很多模棱两可之处，提供的一些答案。。。包括在JAR/执行器/驱动程序配置或选项中复制JAR引用。 应为每个选项澄清以下歧义、不清楚和/或省略的细节： 类路径如何受到影响 驾驶员 执行器（用于正在运行的任务） 两者都有 一点也不 对于任务（给每个执行者） 方法 方法 或 ，或者 别忘了，spack-提交的最后一个参数也是一个. jar文件。 我知道在哪里可以找到主
-
将之前下载好的nutz,druid,mysql的jar包,放入WebContent/WEB-INF/lib目录下 手册关联(选修) Nutz 包结构