AWS EMR Spark没有使用自定义Jar加载MainClass

Question

我试图用一个自定义步骤创建一个emr spark集群。集群创建成功，但是步骤没有正确定义。

更新

我试图通过web控制台使用相同的集群，并获得相同的结果。当我在保存步骤时指定Jar位置时，Jar位置被设置为command-runner.Jar，并且提供的Jar路径被添加到参数列表中。

aws emr create-cluster --name 'emr-test' \
--applications Name=Spark \
--release-label emr-5.11.1 \
--auto-terminate \
--instance-type m3.xlarge \
--instance-count 1 \
--ec2-attributes SubnetId=subnet-000000 \
--steps '[{
    "Type": "SPARK",
    "Name": "spark-program",
    "Args": ["--class","--init-keyspaces"],
    "Jar": "s3://mybucket/snapshots/0.1.0-SNAPSHOT/2.11/my-spark-assembly-0.1.0-SNAPSHOT.jar",
    "ActionOnFailure": "TERMINATE_CLUSTER",
    "MainClass":"com.myspark.data.consumers.jobs.MyJob"
}]' \
--use-default-roles \
--log-uri 's3://mybucket/logs' \
--tags Name='spark-program' Environment='test'

JAR location: command-runner.jar
Main class: None
Arguments: spark-submit --class --init-keyspaces
Action on failure: Terminate cluster

JAR location: s3://mybucket/snapshots/0.1.0-SNAPSHOT/2.11/my-spark-assembly-0.1.0-SNAPSHOT.jar
Main class: com.myspark.data.customer.jobs.MyJob
Arguments: spark-submit --class --init-keyspaces
Action on failure: Terminate cluster

Answer 1

发现我的期望是不正确的。当通过CLI创建一个新作业并且只包含JAR ARG时，就会创建一个自定义JAR项目。如果spark args（即--conf)也传递给CLI，则创建spark作业。

web控制台中的这两种作业类型看起来不同。例如，对于Spark作业，JAR位置被设置为command-runner.JAR，而对于自定义JAR则被设置为s3 bucket的路径。

AWS自定义Spark Step文档https://docs.AWS.amazon.com/emr/latest/releaseguide/emr-spark-submit-step.html