当前位置: 首页 > 知识库问答 >
问题:

Apache Spark结构化流与Apache Flink:有什么不同?

水铭晨
2023-03-14
    null

那么,Apache FlinkApache Spark结构化流之间的最大区别是什么?

共有1个答案

伯茂才
2023-03-14

目前:

火花结构流仍然有微批用于背景。然而,它支持事件时处理,相当低的延迟(但不像Flink那么低),支持SQL和类型安全查询在一个API中的流;没有区别,每个数据集都可以用SQL或typesafe运算符查询。它有一个端到端的语义(至少他们这么说;)吞吐量比Flink更好(有一些基准测试结果不同,但请查看关于结果的Databricks帖子)。

在不久的将来:

 类似资料:
  • 在过去的几个月里,我已经使用了相当多的结构化流来实现流作业(在大量使用Kafka之后)。在阅读了《Stream Processing with Apache Spark》一书之后,我有这样一个问题:有没有什么观点或用例可以让我使用Spark Streaming而不是Structured Streaming?如果我投入一些时间来研究它,或者由于im已经使用了Spark结构化流,我应该坚持使用它,而之

  • 问题内容: 我想知道在Eclipse IDE中用于Java EE开发的文件夹结构和包之间有什么区别。 我们什么时候使用哪个,为什么? 应该怎么做 创建一个像src / com / utils这样的文件夹结构,然后在其中创建一个类 创建一个像src.com.util这样的包,然后在其中创建一个类 如果我以后必须编写一个ant脚本进行部署,哪个选项会更好,更容易部署? 如果我要使用文件夹结构,那么部署

  • 我有一个用于结构化流媒体的Kafka和Spark应用程序。特别是我的KafkaProducer具有以下配置: 然后我创建了一个ProducerRecord,如下所示: 其中,json。toString()表示一个JSON格式的字符串,这是我想在Spark中处理的值。现在,我主要做的是将Spark与Kafka主题联系起来,正如官方Spark结构化流媒体指南中所报道的那样: 然后 我有以下输出和异常:

  • 问题内容: 在SQL中,“结构化”一词是什么意思? 是否因为此(SQL)语言语句被组织为子句,表达式和谓词? 由于这个组织,它被称为“结构化”吗? 问题答案: 最初的全名是SEQUEL,代表“结构化英语查询语言”。由于商标问题,后来不得不将其重命名为SQL。 因此,基本上,这是将编程语言出售为“就像英语一样,除了具有正式语法外”的另一种尝试(因此称为“结构化”)。

  • 批处理查询中似乎不支持“最新”。我想知道是否有可能用另一种方法做类似的事情(不直接处理偏移)

  • 我在这里找到了最初的*C结构化绑定方案。它提出了一种轻松绑定多个返回值的方法,即: 但现在我看到每个人都指向 现在我学习了“列表是{like,this}编写的”,出现了一种新的列表语法?为什么?这里的花括号有什么问题?