当前位置: 首页 > 知识库问答 >
问题:

从SparkSession检索SparkContext

邢寒
2023-03-14

我正在运行spark批处理作业,并使用SparkSession,因为我需要在每个组件中处理许多spark sql功能。SparkContext在父组件中初始化,并作为SparkSession传递给子组件。

在我的一个子组件中,我想在我的SparkContext中再添加两个配置。因此,我需要从Spark会话中检索SparkContext,停止它并用附加配置重新创建Spark会话。要做到这一点,我如何从Spark会话检索SparkContext?

共有2个答案

梁丘佑运
2023-03-14

sparkContext字段似乎不再公开(我使用的是Spark 2.3.2),但是,您可以使用相同名称的方法检索它:

spark.sparkContext()

这仅适用于火花Java。

巩才捷
2023-03-14

只需作为答案发布-可以使用spark从SparkSession访问SparkContext。sparkContext(无括号)

 类似资料:
  • 我试图加载一个列表到一个数据框作为我的测试的一部分使用函数,但问题是我无法创建/检索。因此,我不能使用方法。但是,我可以创建一个。 是否有任何方法可以从获取,或者除了方法之外,还有其他方法可以将列表加载到数据帧中?

  • 我正在尝试使用MapStruct映射两个对象。我已经搜索了一段时间,但没有找到任何东西,尽管我是编程新手,所以我相信这比我现在做的要容易。 下面是一些精简的代码(请注意,真正的代码更复杂,arraylist中的子对象与目标对象子变量的类型不同): 源对象 可以通过 目标对象 细节主题 制图器 如果我将DetailsObject直接放在SourceObject中,这将正常工作,但是当我试图从列表中获

  • 问题内容: 所以,我有一个 基于Java的Web项目 ,从3个独立的服务检索到的信息显示,托管在不同的服务器上,我使用 的Apache HTTP客户端 来获取通过在REST API信息 JSON ,使用 GSON库 。我将Json转换为用于显示信息的POJO。 现在,我想在项目中实现搜索功能,因此我将Solr安装在单独的服务器上,我想要的是: 为所有3个服务在solr服务器中索引JSON。 从So

  • 问题内容: 给定如下所示的URL,如何解析查询参数的值?例如,在这种情况下,我需要的值。 我在我的环境中使用Django;有没有一种方法可以帮助我? 我尝试使用,但它没有返回ghi我希望的值。 问题答案: Python 2: Python 3: 返回值列表,因此上述代码将打印。

  • 我正在尝试从Akka HttpResponse检索cookie cookie_jar=cookieLib.cookiejar()non_redirecting_opener=urllib2.build_opener(norredirectionprocessor,urllib2.httpcookieprocessor(cookie_jar))response=non_redirecting_ope

  • 我正在使用SharePreduce进行用户界面设置。 当我想获取的值时,无论它是真是假,都可以播放声音。 但是,当我点击时,即使我将的值更改为false,我总是播放歌曲,你能帮我弄清楚它出了什么问题吗? 正常情况下,我的< code>boolean playSound应该为true或false, 当我单击按钮时,如果playSound为true,则我播放歌曲,否则我不播放它,但似乎永远不会更改此值