当前位置: 首页 > 知识库问答 >
问题:

如何从flink中的文件数据创建数据流,其顺序与数据写入file中的顺序相同?

盖晋
2023-03-14

我使用flink从文件中读取数据并将其转换为流,然后处理该流,但是当我从文件中读取数据并将其转换为流时,这样形成的数据流中的内容与文件中的数据顺序不是一个顺序。根据我的要求,文件和流中数据的顺序很重要。有人能帮我吗?谢谢

共有1个答案

澹台星剑
2023-03-14

我在组合多个流时遇到了这个问题,并通过使用以下方法解决了这个问题:

    DataStream<T> stream;
    stream.setParallelism(1).rebalance();
 类似资料:
  • 2)当我接收到一个数据包,并且它是“fragment_type==28”(不仅仅是这样,而是让我们认为我真的得到了一个片段),这意味着我有一个IDR片段。 3)每个报文都有一个由发信方生成的序列号,该序列号按如下顺序排列:如果报文a的序列号为20,则发信方发送的下一个报文为21,以此类推。 现在让我们来回答我的问题: A)如果我有一个IDR要重建,我如何知道什么数据包属于这个IDR?让我举一个例子

  • 我使用codeigniter与数据,我想按一列选择。 我该怎么做? 谢谢

  • 为了在需要的时候能够检索要处理的数据,数据要存储在文件中。上一节演示丁怎样建立一个顺序访问的文件。这一节要讨论按顺序读取文件中的数据。 图14.7 中的程序读取文件"clients.dat"(图14.4中的程序建立)中的记录,并打印出了记录的内容。通过建立ifstream类对象打开文件以便输入。向对象传入的两个参数是文件名和文件打开方式。下列声明: ifstream inClientFile( "

  • 本文向大家介绍yaml YAML顺序数据,包括了yaml YAML顺序数据的使用技巧和注意事项,需要的朋友参考一下 示例 同一列表级别: 嵌套列表:            

  • 问题内容: 我有一个数据集,其中包含: 该日期的大部分时间是连续的。日期没有重复(因为它是主键)。 该问题分为多个部分(全部与使用SQL有关): 是否可以在表格中列出的日期序列中找到空白?例如:缺少日期 是否有可能找到表中缺少的日期部分,这些部分的范围大于n(这是在运行时确定的数字)?例如:对于日期不返回,但日期。 问题答案: 只需在plsql或将要检查所有日期的客户端中创建一个函数即可。像这样的

  • 问题内容: 我得到了一些“ 锻炼程序” 内容,这些内容将按顺序显示给用户。下面显示了最简单形式的示例。 通常,这些表至少要包含100行/练习,并且大约有300个表(针对不同标准的不同练习)。我们没有任何前端,可以直接使用 _dbForge Studio_数据库编辑器更新数据库。 以前的开发人员已经设计了表格,以便唯一ID列也可用作序列号。它也构成url的一部分。例如xxx / exercise /