在同一母版下的Java和R Apps之间共享SparkContext

Question

所以这是设置。

目前，我有两个Spark应用程序已初始化。我需要在它们之间传递数据（最好通过共享的sparkcontext /
sqlcontext，以便我可以查询临时表）。我目前使用Parquet Files进行数据帧传输，但是还有其他方法吗？

MasterURL指向同一SparkMaster

通过终端启动Spark：

/opt/spark/sbin/start-master.sh; 
/opt/spark/sbin/start-slave.sh spark://`hostname`:7077

Java应用设置：

JavaSparkContext context = new JavaSparkContext(conf);
//conf = setMaster(MasterURL), 6G memory, and 4 cores.
SQLContext sqlContext = new SQLContext(parentContext.sc());

然后我稍后注册一个现有框架

//existing dataframe to temptable
df.registerTempTable("table");

和

星火

sc <- sparkR.init(master='MasterURL', sparkEnvir=list(spark.executor.memory='6G', spark.cores.max='4')
sqlContext <- sparkRSQL.init(sc)

# attempt to get temptable
df <- sql(sqlContext, "SELECT * FROM table"); # throws the error

Answer 1

据我所知，鉴于您当前的配置，这是不可能的。使用创建的表registerTempTable绑定到SQLContext用于创建的特定表DataFrame。即使您的Java和SparkR应用程序使用相同的主服务器，它们的驱动程序也可以在单独的JVM上运行，并且不能共享一个SQLContext。

有一些工具（例如Apache
Zeppelin）采用了不同的方法，即将一个SQLContext（和SparkContext）暴露给各个后端。这样，您可以使用例如Scala注册表并从Python读取表。有飞艇的一个叉其提供SparkR和R一些支持。您可以检查它如何启动以及如何与R
backend交互
。