从SparkContext提取SparkSession
我试图加载一个列表到一个数据框作为我的测试的一部分使用toDF函数，但问题是我无法创建/检索Sparksession。因此，我不能使用toDF方法。但是，我可以创建一个SparkContext。
是否有任何方法可以从SparkContext获取SparkSession，或者除了toDF方法之外，还有其他方法可以将列表加载到数据帧中？
共有1个答案
您可以使用下面的工作代码语法。请验证您使用的火花版本，因为它仅适用于2.0或更高版本。如果你得到一些其他错误，请把它贴在线程上。
val spark = SparkSession
.builder()
.master("local")
.appName("ReadDataFromTextFile")
.getOrCreate()
val file_2 = spark.read.option("multiline", "true").json("d:/small_projects/spark/cobrand_config.json")
-
我正在运行spark批处理作业，并使用，因为我需要在每个组件中处理许多spark sql功能。在父组件中初始化，并作为传递给子组件。 在我的一个子组件中，我想在我的中再添加两个配置。因此，我需要从中检索，停止它并用附加配置重新创建。要做到这一点，我如何从Spark会话检索SparkContext？
-
问题内容： 我已经看到人们在Objective- C中做到这一点，但是我很快就遇到了麻烦。我已经从图片中获得了像素的颜色，但是现在我需要分别获取红色，绿色和蓝色的值。这是我所拥有的（h，w和rgb是整数，image.getPixelColor（CGPoint）返回UIColor）： 如何将此UIColor更改为红色，绿色和蓝色值？谢谢！ 问题答案： 您可以将UIColor转换为CIColor，然后
-
使用OpenXML（C#）解析*. docx文档有一个问题。 下面是我的步骤： 1。加载*。docx文档 2。接收段落列表 3。在每个段落中查找文本、图像和表格元素 4。为每个文本和图像元素创建html标记 5。将输出另存为*。html文件 我已经了解了如何在文档中定位图像文件并将其解压缩。现在有一个步骤要做——找到表格在文本（段落）中的位置。 如果有人知道如何在*中定位表。docx文档使用Ope
-
Q非常业余的程序员在这里，寻求你的帮助。 我必须经常编辑这样的xml文件 使用一个相当复杂的正则表达式搜索和替换过程，我只能提取标记属性的值。（这就是我所关心的）。 但是这很耗时，而且在Python中必须有非常简单的方法来查找属性标记="SOME_TEXT"部分并将所有值放入一个数组中，然后打印出该数组（到文件中）。但是我无法弄清楚：（ 我正在寻找一种不包括导入任何类型的XML库的方法，因为我想让
-
在使用python和pyspark开发数据管道时，我面临以下错误。 PS C：\用户\文件夹\文档\文件夹\项目\code\etl-gd\src\作业\更大数据 代码非常简单，只需尝试一下： Java、spark、python和pyspark的正确安装如下： 提前感谢您的帮助。
-
问题内容： 我将div设置为，并设置了“ ” 样式，以便保留换行符。在Safari，FF和IE中，div的外观和工作原理几乎相同。一切都很好。我想做的是从该div中提取文本，但要确保其格式不会丢失- 特别是换行符。 我们使用的是jQuery，它的功能基本上是执行预定的DFS，并将DOM分支中的所有内容粘合在一起。这会丢失格式。 我看过该函数，但似乎所有这三种浏览器都使用div 幕后生成的实际HTM