如何从现有的SparkContext创建Spark会话

Question

我有一个Spark应用程序，它使用Spark 2.0新API和SparkSession。我正在使用SparkContext的另一个应用程序之上构建此应用程序。我想将SparkContext传递给我的应用程序，并使用现有SparkContext初始化SparkSession。

然而，我找不到一个方法如何做到这一点。我发现带有SparkContext的SparkSession构造函数是私有的，因此我无法以这种方式初始化它，而且生成器不提供任何setSparkContext方法。你认为有什么解决办法吗？

Answer 1

显然，无法从现有的SparkContext初始化SparkSession。

Answer 2

就像上面的例子一样，你不能创建，因为Sparksession的构造函数是私有的。相反，你可以使用SparkContext创建一个SQLContext，然后像这样从sql上下文中获取Sparksession

val sqlContext=new SQLContext(sparkContext);
val spark=sqlContext.sparkSession

希望这有帮助

Answer 3

从SparkContext甚至SparkConf中导出Sparksession对象很容易。只是您可能会发现API有点复杂。这里有一个例子（我使用的是Spark2.4，但这应该在旧的2. x版本中也能工作）：

// If you already have SparkContext stored in `sc`
val spark = SparkSession.builder.config(sc.getConf).getOrCreate()

// Another example which builds a SparkConf, SparkContext and SparkSession
val conf = new SparkConf().setAppName("spark-test").setMaster("local[2]")
val sc = new SparkContext(conf)
val spark = SparkSession.builder.config(sc.getConf).getOrCreate()

希望有帮助！