我应该将JAR放在dataproc集群的何处，以便gcloud dataproc jobs submit spark可以使用它们？

Question

我有一个初始化脚本，它从我们的本地工件存储库下载一个. jar，并将其放入集群上每个节点的/usr/local/bin。我可以使用

gcloud dataproc jobs submit spark --cluster=my_cluster \
      --region=us-central1 --jar=file:///usr/local/bin/myjar.jar -- arg1 arg2

然而，如果我的最终用户不必知道jar的位置，我更愿意这样做。

我可以把. jar放在哪里，这样就不必指定它的位置？

Answer 1

对于火花作业，您应该能够将jarfile放在所有节点上的/usr/lib/火花/jars中，以便在类路径上自动可用。

为了更全面的覆盖，您可以将JAR添加到usr/lib/hadoop/lib中；hadoop lib目录也自动包含在Dataproc上的Spark作业中，并且是GCS连接器jarfile等库所在的位置。您可以通过在etc/SPARK/conf/SPARK env中配置的环境变量查看hadoop lib目录。sh 。

如果所需的行为仍然是使用标记指定“main jar”，而不是指定只提供类的库jar，那么遗憾的是，集群上目前没有“working directory”的概念，只允许指定到“main jar”的相对（而不是绝对）路径。但是，有两种方法具有类似的行为：

1. 将jarfile设置为提交作业的用户工作区的本地文件-然后gCloud将在作业提交时将jarfile上传到GCS，并在jarfile在特定于作业的目录中运行时将作业指向jarfile。请注意，这将导致每次作业运行时jarfile重复上传到GCS，因为它总是暂存到一个唯一的作业目录中；稍后您必须gCloud dataproc作业删除以清理这些jarfile使用的GCS空间
2. （首选方法）：使用--class而不是--jar参数来指定执行上述步骤后要运行的作业，以使jar已经在Spark类路径中可用。虽然调用类名有点冗长，但它仍然实现了向用户隐藏jarfile位置详细信息的目标。

例如，用于“spark shell”实现的类已经在类路径上，因此，如果要运行scala文件，就像通过spark shell运行一样，可以运行：

gcloud dataproc jobs submit spark --cluster my-cluster \
    --class org.apache.spark.repl.Main \
    -- -i myjob.scala