AWS EMR步骤找不到从s3导入的jar

Question

我试图在aws emr上以客户端模式运行一个spark应用程序。我已经设置了一个引导操作来从s3导入所需的文件和jar，并且我有了一个运行单个火花作业的步骤。

然而，当该步骤执行时，没有找到我导入的jar。以下是stderr输出：

19/12/01 13:42:05警告dependencyutils:Local jar/mnt/var/lib/hadoop/steps/s-2hlx7kpzca07b/~/myapplicationdirectory不存在，跳过。

我能够成功地将应用程序的jar和其他所需文件从s3 bucket导入到主实例，只需通过引导操作将它们导入到home/ec2-user/myapplicationdirectory/myjar.jar。

以下是cli配置的相关部分：

--steps '[{"Args":["spark-submit",
"--deploy-mode","client",
"--num-executors","1",
“--driver-java-options","-Xss4M",
"--conf","spark.driver.maxResultSize=20g",
"--class”,”myApplicationClass”,
“~/myApplicationDirectory”,
“myJar.jar",
…
   application specific arguments and paths to folders here 
…],
”Type":"CUSTOM_JAR",

谢谢你的帮助，

Answer 1

它似乎不理解~是指主目录。尝试将“~/myapplicationdirectory”更改为“/home/ec2-user/myapplicationdirectory”。

^{一个小警告：在您问题中的示例中，直接引号“与”smart“引号”混合在一起。请确保“smart”引号不会出现在配置文件中，否则您将得到非常混乱的错误消息。}