Spark-submit在hdfs中应用程序jar时不工作
我正在尝试使用bin/spark-submit运行一个spark应用程序。当我引用本地文件系统中的应用程序jar时，它会正常工作。但是，当我将我的应用程序jar复制到hdfs中的一个目录时，我得到了以下异常：
$./bin/spark-submit--class com.example.simpleapp--主本地HDFS:/localhost:9000/user/hdfs/jars/simple-project-1.0-snapshot.jar
我使用的是hadoop版本2.6.0和spark版本1.2.1
共有1个答案
唯一对我有效的方法，当我使用
--主纱簇
-
我是Spark的新手。我有一个应用程序，通过调用spark shell来运行每个spark sql查询。因此，它将生成一组如下所示的查询，并调用spark shell命令逐个处理这些查询。 Val Query=spark.sql（""SELECT userid as userid，评级为评级，电影为电影从default.movie表""）； 现在我想用spark submit而不是spark sh
-
我使用IntelliJ创建了一个sbt项目。我将所需的jdbc jar复制到项目的文件夹中。成功完成。在Windows上，我通过启动了spark。 但是，以下命令得到了错误。
-
我正在为Spark Streaming作业构建指标系统，在系统中，指标收集在每个执行程序中，因此需要在每个执行程序中初始化指标源（用于收集指标的类）。 度量源被打包在一个jar中，当提交作业时，jar使用参数'--jars'从本地发送到每个执行器，但是，执行器在jar到达之前开始初始化度量源类，因此，它会抛出类未找到异常。 似乎如果执行者可以等到所有资源都准备好，问题就会得到解决，但我真的不知道该
-
我使用IntelliJ创建了一个sbt项目。我在项目的文件夹中复制了所需的jdbc jar。已成功完成。我在Windows上通过启动了spark。 但是，下面的命令得到了错误。 更新：spark代码可以工作，如果我直接在spark shell中运行语句，我可以看到表内容。 更新2：运行时确实显示了以下消息 17/05/15 16:12:30 INFO SparkContext：添加了JAR文件：/
-
Mesosphere在简化Mesos上运行Spark的过程方面做了很大的工作。我正在使用本指南在Google Cloud Compute上建立一个开发Mesos集群。 https://mesosphere.com/docs/tutorials/run-spark-on-mesos/ 我可以使用运行指南中的示例（查找小于10的数字）。但是，当我试图在本地提交一个与Spark一起正常工作的应用程序时，
-
有人能解释一下spark-submit脚本中的和之间的区别吗？ 另外，如果依赖项在应用程序中，我是否需要配置？（我这样问是因为我在中更改了版本，而忘记在中更改了它，这使我的应用程序崩溃了）