当前位置: 首页 > 知识库问答 >
问题:

Apache Spark SQLContext与HiveContext之间有什么区别?

冯沛
2023-03-14
    null

共有1个答案

范承望
2023-03-14

Spark 2.0+

Spark 2.0提供了本机窗口函数(SPARK-8641),并在解析方面进行了一些额外的改进,而且对SQL 2003的遵从性也有了更好的提高,因此它在实现核心功能方面对Hive的依赖程度大大降低,因此hiveContext(sparksession支持Hive)似乎没有那么重要。

Spark<2.0

HiveContext还提供了更健壮的SQL解析器。例如,当使用选择状态选择dataframe中的嵌套列时,请参见:py4j.protocol.py4jJavaError

最后,启动Thrift服务器需要HiveContext

HiveContext最大的问题是它具有很大的依赖关系。

 类似资料:
  • 问题内容: 和处理特殊字符之间有什么区别? 被空间接受。 在的情况下,被接受为。 问题答案: 是要从URI(Spring称为URI模板)中获取一些占位符 也是要从URI中获取参数—请参见Spring Reference第16.3.3.3章,使用@RequestParam将请求参数绑定到方法参数 如果该网址在2013年12月5日获得了用户1234的发票,则控制器方法如下所示: 同样,请求参数可以是可

  • 问题内容: 在此示例中: 无法编译为: 而被编译器接受。 这个答案说明唯一的区别是,与不同,它允许您稍后引用类型,似乎并非如此。 是什么区别,并在这种情况下,为什么不第一编译? 问题答案: 通过使用以下签名定义方法: 并像这样调用它: 在jls§8.1.2中,我们发现(有趣的部分被我加粗了): 通用类声明定义了一组参数化类型(第4.5节), 每种可能通过类型arguments调用类型参数节的类型

  • 问题内容: 和之间有什么区别? 它们都充当未来结果的占位符,但是主要区别在哪里? 问题答案: 根据讨论,终于被要求包含在Java 8中,其javadoc解释了: 可以明确完成(设置其值和状态)并可以用作CompletionStage的Future,它支持在完成时触发的相关功能和操作。 列表上还提供了一个示例: 请注意,最终的API稍有不同,但允许类似的异步执行:

  • 我阅读了kstream.leftjoin,但没有找到确切的区别。

  • 问题内容: 在我的脑海中,我一直都知道在任何项目中都使用内联样式的类。但是两者之间有什么有效的区别吗? 问题答案: 有一个简单的原因。CSS的重点是将内容(HTML)与表示(CSS)分开。一切都与可访问性和代码重用有关。

  • 问题内容: 我不确定我是否完全理解其中的区别。WebDriver API还直接控制选择的浏览器。什么时候应该使用selenium遥控器(selenium RC)? 现在,我目前的情况是通过编写带有Selenium WebDriver API的套件并使其在我的计算机上运行来测试Web应用程序。测试花费的时间越来越长,因此我一直在寻找在Linux服务器上运行测试的方法。 如果我使用Selenium R