为REST服务中的每个endpoint创建单独的SparkSession

Question

我正在开发一个Java的REST API，它同时命中多个endpoint，所有这些服务都并行运行。我希望我的应用程序为每个终端使用单独的Spark会话。

问题陈述：

每当我使用sparkSession停止sparkSession时。关闭（）或SparkSession。stop（），它会关闭sparkContext本身，因为并行运行的其他服务会失败，并且每当我再次点击该服务时，sparkContext都无法重新启动。

我尝试了以下方法来解决问题：

1. 使用SparkSession singleton对象，并使用SparkSession为每个服务创建单独的SparkSession。cloneSession（）或SparkSession。newSession（）并调用SparkSession。关闭（）或SparkSession。stop（）停止会话

问题：停止SparkContext。无法重复或并行调用服务。

创建单个SparkContext对象，并调用java方法为每个服务创建Spark会话（而不是使用单例），如下所示：

SparkContext sparkContext = SparkContext.getOrCreate(sparkCassandraConfig.sparkConf());

SparkSession cloneSparkSession = sparkCassandraConfig.sparkSession(sparkContext).newSession();

其中，sparkCassandraConfig是一个单例，它使用sparkConf（）方法获取所需的spark配置，并使用sparkSession（SparkContext）方法构建sparkSession。

然后使用以下命令关闭会话：

cloneSparkSession.close();

问题：如果我按顺序调用服务，但当服务并行运行时失败，这种方法可以工作。

有人能为当前方法提出解决方案吗，或者是否有任何其他方法为每个endpoint创建单独的Spark会话。

任何帮助都很感激！

Answer 1

创建SparkSession作为静态块，并尝试使用val spark=SprakSession获取SparkSession。getorcreate（）方法不要在每个方法中停止会话。