当前位置: 首页 > 知识库问答 >
问题:

是否可以在KeyedStream(Apache Flink)中为每个键生成水印?

姜振濂
2023-03-14

我正在实现一个用例,其中不同的物理设备正在发送事件,并且由于网络/电源问题,在flink source接收事件时可能会有延迟。flink作业中的一个操作符是模式操作符,并且有一些特定的模式是时间敏感的,所以我使用事件时间特性。但是,当来自特定设备的事件出现不可预测的延迟时,问题就会出现,这会导致这些事件被丢弃(因为我无法真正定义允许延迟的静态绑定)。

由于我使用的是基于源设备ID的KeyedStream,因此是否有办法允许每个CEP运算符实例(每个键一个)根据相应流分区中的事件时间进度其时间。或者换句话说,是否有办法在KeyedStream中为每个分区生成水印?

共有1个答案

朱昊乾
2023-03-14

Flink目前不支持每键水印。水印是全局的。

 类似资料:
  • 问题内容: 我必须基于将动态提供的各种参数来生成报告。在某些情况下,参数可以为null。例如,我必须从具有 ID* , 姓名 , 年龄 , 性别 和 maritalStatus 作为字段的表 Person中 ,生成有关 30岁已婚男性的 报告。在另一些时候,可能需要 不考虑年龄 就 结婚的女性 。如果我在这两种情况下都使用相同的碧玉,则年龄限制在第二种情况下将为null。有什么办法可以解决这种情况

  • 我有一个JS项目,它使用aws服务作为后端(Cognito、AppSync、S3等)。 我使用AWS Amplify访问这些服务,但不使用Amplify CLI;所有aws服务都是手动配置的。 关于AppSync,我有一个小脚本,它读取模式(从APPESNC控制台手动下载),然后生成TypeScript操作和操作类型文件(使用放大器-图形ql-文档-生成器和放大器-图形ql-类型-生成器)。 有没

  • 我想实现一个有五个可选变量的搜索函数,并且在每个组合中,所以一个开关/案例不是一个可能的方法。所以我不能使用构建在Spring启动函数,因为它们不是动态的(如果我错了,请纠正我)。我知道crudrepository中有@查询注释,但是没有办法用可选参数编写查询?我试图用jpa编写我自己的数据库访问,没有Spring启动CrudRepository的帮助。我在手册中读到这应该可以工作: 但问题是,我

  • 很抱歉我问了一个相当愚蠢的问题。例如,一个表可以有由“user_id”和“employee_id”组成的复合主键吗 和另一个包含“user_id”作为主键的表?

  • 我有一些API和现在生成类与-我需要存储这个文件在我的Spring启动项目。我使用的gradle任务的简短示例: 所以问题-我可以使用URL下载API文件,例如,从gitlab,然后在这一行中使用它: 以下版本目前正在使用,但如果需要,可以更改: gradle: 6.8.3 OpenAPI生成器gradle插件

  • 我有一个JSON文件。我正在寻找任何有助于根据该JSON文件生成AVRO模式的程序/工具。我不关心数据类型。只要AVRO模式结构是基于JSON生成的,它都可以是字符串。 目标是,我试图只使用json文件创建一个avro文件。为此,我需要avro模式。 所以,如果我有一个avro模式,使用avro工具,我将能够通过提供avro模式和JSON文件作为输入来生成avro文件。 任何进一步的帮助/建议将不