当前位置: 首页 > 知识库问答 >
问题:

数据流API中的Flink迭代-缺点

通俊发
2023-03-14

我们希望将迭代与Async IO运算符结合使用,为同一事件执行顺序API调用。但是,在回答我提出的另一个问题时,有人提到使用Datastreams唱迭代是个坏主意。

管理使用大量内存的状态-从存储中查询

有人能进一步解释一下吗?

共有1个答案

长孙修远
2023-03-14

虽然迭代本身目前没有检查点,但还有其他选项,如循环展开(如果每个元素有最大的迭代次数)和statefun,它使用反馈机制来实现与迭代相同的事情,但以一种对检查点更加友好的方式。

 类似资料:
  • 我的问题是关于Apache Flink中多个流上的迭代。 我是Flink的初学者,目前正在尝试对Flink执行递归查询(例如,数据日志)。 例如,查询每5分钟计算一次传递闭包(滚动窗口)。如果我有一个输入流inputStream(由初始边缘信息组成),另一个由inputStream初始化的输出流(传递闭包)。我想通过加入inputStream来迭代地丰富outputStream。对于每个迭代,反馈

  • 我是pyflink的新手。我正在尝试编写一个python程序来从kafka主题读取数据并将数据打印到标准输出。我按照链接Flink Python Datastream API Kafka Producer Sink Serializaion进行了操作。但由于版本不匹配,我一直看到NoSuchMethod odError。我添加了https://repo.maven.apache.org/maven

  • 不幸的是,Kafka Flink连接器只支持-csv、json和avro格式。因此,我不得不使用较低级别的API(数据流)。 问题:如果我可以从datastream对象中创建一个表,那么我就可以接受在该表上运行的查询。它将使转换部分无缝和通用。是否可以在数据流对象上运行SQL查询?

  • 我想首先使用dataset API操作静态数据,然后使用DataStream API运行流作业。如果我在IDE上编写代码,它工作得很好。但是当我尝试在本地flink jobmanager上运行时(全部并行性1),流式代码从未执行过! 例如,以下代码不起作用: 执行计划:计划似乎是一个循环。

  • 我正在使用Flink表API,使用Java将数据集转换为数据流....以下是我的代码: ExpressionException:JavaStreamingTranslator的根无效:Root(ArraySeq((related_value,Double),(ref_id,String)))。您尝试将基于数据集的表转换为数据流吗?我想知道我们如何使用Flink表API将DataSet转换为Data

  • 我如何获得我之前指定的密钥?我没有在累加器中注入输入事件的键,因为我觉得我不会很好。