如何将Python连接到Spark会话并保持RDD活动

Question

如何让一个小Python脚本挂接到Spark的现有实例中，并在现有RDD上执行操作？

我正处于在视窗10上使用火花的早期阶段，在“本地”实例上尝试脚本。我正在使用Spark的最新稳定版本（Hadoop 2.7的Spark 2.0.1）。我已经安装并设置了Hadoop 2.7.3的环境变量。我正在用Python尝试Pyspark外壳和Visual Studio 2015社区。

我正在尝试构建一个大型引擎，在这个引擎上我将运行单个脚本来加载、处理、格式化和访问数据。我相信有一个正常的方法可以做到这一点；这不是火花的意义吗？

不管怎样，这是我到目前为止的经验。这通常是意料之中的。当我在Python中构建一个小的Spark脚本并使用Visual Studio运行它时，该脚本会运行、完成任务并退出。在退出的过程中，它也退出了它正在使用的火花上下文。

所以我有以下想法：如果我在Pyspark中启动一个持久的Spark上下文，然后在每个Python脚本中设置SparkConf和SparkContext以连接到该Spark上下文，会怎么样？因此，在网上查找Pyspark的默认设置时，我尝试了以下方法：

conf = SparkConf().setMaster("local[*]").setAppName("PySparkShell")
sc = SparkContext(conf = conf)

我开始玩Pyspark。在VisualStudio中的另一个脚本中，我将此代码用于SparkContext。我将一个文本文件加载到名为RDDFromFilename的RDD中。但一旦脚本运行，我就无法访问Pyspark shell中的RDD。

如何启动持久性Spark上下文，在一个Python脚本中创建RDD，并从后续Python脚本访问该RDD？尤其是在Windows中？

Answer 1

对于那些可能的追随者：我最近发现了SnappyData。

SnappyData还相当年轻，有一点学习曲线，但它promise要做的是创建一个持久的可变SQL集合，该集合可以在多个Spark作业之间共享，并且可以作为RDD和DataFrames进行本机访问。它有一个作业服务器，您可以将并发作业转储到该服务器上。

它本质上是GemFire内存数据库与Spark集群的组合，Spark集群在同一JVM中是本地的，因此（当我能够很好地管理它时），我可以在没有单机瓶颈的情况下执行大型任务，将数据导入和导出Spark，或者我甚至可以在另一个Spark程序运行相同数据时执行实时数据操作。

我知道这是我自己的答案，但我可能不会把它标记为答案，直到我变得足够老练，对它解决我的问题有多好有意见。

Answer 2

Spark中没有解决方案。你可以考虑：

>

要保持持久RDD：

• 阿帕奇点火

要保持持久共享上下文，请执行以下操作：

• spark作业服务器
• 利维-https://github.com/cloudera/livy
• 薄雾-https://github.com/Hydrospheredata/mist

要与笔记本共享的上下文，请执行以下操作：

• 阿帕奇齐柏林飞艇

我认为在这些产品中，只有齐柏林飞艇正式支持Windows。