使用Thread客户端或任何其他方式从Spring Web应用程序运行Apache spark作业

Question

我最近开始使用spark，我想从SpringWeb应用程序运行spark作业。

我的情况是，我正在使用Spring boot在Tomcat服务器上运行web应用程序。我的web应用程序收到一个REST web服务请求，它需要触发纱线集群中的火花计算作业。由于我的作业可能需要更长的时间才能运行，并且可以访问来自HDFS的数据，因此我希望在纱线集群模式下运行spark作业，并且我不希望在我的web层中保持spark上下文的活动状态。另一个原因是我的应用程序是多租户的，所以每个租户都可以运行自己的作业，所以在纱线集群模式下，每个租户的作业都可以启动自己的驱动程序并在自己的spark集群中运行。在web app JVM中，我假设我不能在一个JVM中运行多个spark上下文。

我想在我的Web应用程序中从java程序以纱线集群模式触发火花作业。实现这一点的最佳方法是什么。我正在探索各种选项并寻找您的指导，看看哪一个是最好的

1）我可以使用Spark提交命令行shell来提交我的作业。但是要从我的Web应用程序触发它，我需要使用JavaProcessBuilder api或基于java ProcessBuilder构建的某个包。这有两个问题。首先，这听起来不像是一种干净的方法。我应该有一种触发我的火花应用程序的编程方式。第二个问题是我将失去监控提交的应用程序并获取其状态的能力...唯一粗糙的方法是读取Spark提交shell的输出流，这听起来也不是一个好方法。

2） 我尝试使用Thread客户端提交spring应用程序中的作业。以下是我使用Thread客户端提交spark作业时使用的代码：

Configuration config = new Configuration();
System.setProperty("SPARK_YARN_MODE", "true");        
SparkConf conf = new SparkConf();
ClientArguments cArgs = new ClientArguments(sparkArgs, conf);
Client client = new Client(cArgs, config, conf);
client.run();

但当我运行上述代码时，它只会尝试在localhost上连接。我收到以下错误：

5/08/05 14:06:10 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 15/08/05 14:06:12 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

所以我认为它无法连接到远程机器。

请建议，使用最新版本的spark执行此操作的最佳方式是什么。稍后，我计划在amazon EMR中部署整个应用程序。所以，这种方法也应该在那里奏效。

提前感谢

Answer 1

我在尝试运行连接到纱线集群的Spark应用程序时也遇到了类似的问题-没有集群配置，它试图连接到本地机器，就像连接集群的主节点一样，这显然失败了。

当我放置核心站点时，它对我有效。xml和纱线网站。将xml转换为类路径（典型sbt或Maven项目结构中的src/main/resources）-应用程序正确连接到集群。

使用spark提交时，这些文件的位置通常由HADOOP\u CONF\u DIR环境变量指定，但对于独立应用程序，它并没有效果。

Answer 2

Spark JobServer可能有帮助：https://github.com/spark-jobserver/spark-jobserver，此项目接收RESTful web请求并启动spark作业。结果作为json响应返回。