在大规模spark应用程序上分发第三方jar依赖项

Question

我们有一个第三方jar文件，Spark应用程序依赖于该文件。此jar文件大小约为15MB。由于我们希望将Spark应用程序部署在大规模集群（约500个工作人员）上，因此我们需要考虑分发第三方jar文件。根据apachespark文档(https://spark.apache.org/docs/latest/submitting-applications.html#advanced-依赖关系管理），我们可以选择使用HDFS、HTTP服务器、驱动程序HTTP服务器和本地路径来分发文件。

我们不喜欢使用local-path，因为它需要复制所有工作人员的火花库目录上的jar文件。另一方面，如果我们在Spark工作人员尝试获取jar文件时使用HDFS或HTTP服务器，他们可能会对我们的Spark驱动程序服务器发起DoS攻击。那么，应对这一挑战的最佳方式是什么？

Answer 1

在研究了不同的方法之后，我们发现分发jar文件的最佳方法是复制所有节点（正如@egor所提到的）基于我们的部署工具，我们发布了一个支持外部JAR的新spark ansible角色。目前，ApacheSpark没有提供任何优化的解决方案。如果您提供一个远程URL（HTTP、HTTPS、HDFS、FTP）作为外部jar路径，spark workers将在每次提交新作业时获取jar文件。因此，从网络的角度来看，它不是一个优化的解决方案。

Answer 2

另一方面，如果我们在Spark工作人员尝试获取jar文件时使用HDFS或HTTP服务器，他们可能会对我们的Spark驱动程序服务器发起DoS攻击。那么，应对这一挑战的最佳方式是什么？

如果你把第三个jar放在HDFS中，为什么会影响spark驱动服务器？！每个节点都应该直接从hdfs而不是spark服务器获取addintiol jar。