当前位置: 首页 > 知识库问答 >
问题:

AWS EMR Spark:错误:无法从JAR加载主类

郎灿
2023-03-14

我正试图使用AWS控制台向AWS EMR集群提交一个spark作业。但它失败了:

无法从JAR加载main类。当我在AWS EMR控制台中的arguments选项中指定主类为--class时,作业成功运行。

 ./spark-submit /home/astro/spark-programs/SpotEMR/MyJob.jar

共有1个答案

易飞文
2023-03-14

实际上,您可以通过EMRActivity和AWS DataPipeline传递作业的主类。

请参阅https://docs.aws.amazon.com/datapipeline/latest/developerguide/dp-object-emractivity.html以使用步骤启动emractivity

以及https://docs.aws.amazon.com/EMR/latest/releaseGuide/emr-spark-submit-step.html来使用带有main类的EMR步骤提交spark作业。

步骤如下所示:

command-runner.jar,spark-submit,--class,org.apache.spark.examples.SparkPi
 类似资料:
  • 我在创建工作JAR文件时遇到问题。我可以跑步。类文件如下所示: 但作为jar运行(在构建脚本中)失败: 我将通过使用简单的Hello World项目来简化我遇到的问题: 文件需要进入文件夹。JAR文件需要在文件夹中。是构建JAR文件的bash脚本。如下: 你好世界java: 运行JAR文件,如构建中所示。sh结果 如前所述,直接运行应用程序效果很好。 这是的结构。 的内容。 我已经工作了6年了,现

  • 我有一个简单的例子 这是在IntelliJ中创建的,我想在其中构建JAR文件;所以我所做的: 添加了具有依赖项的工件(我可能有一些); 确保位于中,因为它已经在站点的某个地方提到过。 运行工件生成器,它在out文件夹中为我提供了JAR文件,而我运行的JAR文件说我“找不到或加载主类” 我怀疑这是一个原因。有什么想法吗?

  • 问题内容: 一些用户抱怨小程序不再起作用,当他们查看Java控制台时,遇到一个java.lang.noClassDefFoundError并检查我的访问日志,我发现他们已经下载了包含该类的jar文件,然后发出get命令。要求特定的班级。 不同的用户中断不同的类。 一些用户很好。 任何想法可能导致此问题/解决此问题。 我已经检查以确保该文件位于其Java缓存中,清除了缓存等。似乎没有任何修复方法。

  • 问题内容: 我想连接我的java程序以连接数据库并检索数据。它的编译完美,但运行时即时得到这个 我已经安装了Java SQL驱动程序,并将jar路径作为CLASSPATH添加到环境变量中 问题答案: 您应该从这里下载驱动程序 和JAR文件需要添加到项目类路径。 首先,右键单击Eclipse Project,然后单击Project-> Build Path-> Configure Build Pat

  • 当我正常运行此代码时,它会吐出: 异常线程"main"java.lang.ClassNotFoundExcture: bookReader 在java.net.URLClassLoader.find类(URLClassLoader.java:381) 在java.lang.ClassLoader.load类(ClassLoader.java:424)<在sun.misc.启动$AppClassLo

  • 问题内容: 我试图将HelloWorld放在.jar文件中并运行它,但是它不起作用。我创建了Java文件并在程序中键入内容,然后用cmd编写: 而且有效。然后我进入 得到了输出 然后我进入 第一行有效,而第二行却给我一个错误: 当我尝试使用64位jre7 \ bin,jdk1.7.0_51 \ bin,jdk1.7.0_51 \ jre \ bin中的java.exe文件打开它时,我得到的输出是(