当前位置: 首页 > 知识库问答 >
问题:

关于官方文件中闪烁水印插图的问题

南门洋
2023-03-14

最近我阅读了关于水印的Flink官方文件

网址:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/event_time.html

有两幅图片说明了flink水印机制,这让我困惑不解:

Flink水印

第一张图片很容易理解,但是在第二张图片中,我想知道我们如何得到w(11)和w(17)?众所周知,我们可以在flink作业中定义如何生成水印,换句话说,水印是由一定的规则生成的。那么在第二张图片中生成水印的规则是什么?

我查找了几乎所有不同版本flink的官方文档,它们使用的图片都是相同的。这让我很困惑。有什么解释吗

共有1个答案

陈誉
2023-03-14

你是对的;这个例子令人困惑。虽然它确实说明了一种可能的情况,但这并不容易理解。

通常,水印是使用有界无序水印策略生成的,其中时间戳赋值器跟踪迄今为止看到的最大时间戳(作为在流记录的元数据中分配时间戳的副作用)。然后,每次定期水印生成器的计时器关闭时(默认情况下,每200毫秒一次),指定的有界延迟将从最大时间戳中减去,并且结果将用于创建新水印(前提是生成的时间戳大于以前的水印)。

在该图所示的示例中,W(17)之前的最大时间戳似乎是22,因此有界延迟大概是5。根据同样的推理,因此应该在W(11)之前有一个时间16的事件,但如果有,它是在时间7的事件之前的某个地方。

 类似资料:
  • 我正在阅读《Stream Processing with Apache Flink》一书,书中说:“从版本0.10.0开始,Kafka支持消息时间戳。当从Kafka版本0.10或更高版本读取时,如果应用程序以事件时间模式运行,使用者将自动提取消息时间戳作为事件时间戳*“因此在函数中,调用将默认返回Kafka消息时间戳?请提供一个简单的示例,说明如何实现AssignerWithPeriodicalW

  • 我正在处理来自物联网设备的事件流。 这些事件具有由网络设置的第一级时间戳。他们还将在不同时间点采取的多项措施组合在一起。例如: 网络时间9:08 度量值将按小时汇总,在这种情况下,M1应在8:00-9:00窗口中,M2应在9:00-10:00窗口中。 我想知道设计我的flink应用程序、管理这些时间戳和相关水印的正确方法是什么。根据我目前的理解: 我可能应该将所有与网络时间(9:08)相关的处理放

  • 我有一个flink任务,它使用带事件时间和水印的键控翻滚窗口来聚合数据。 我的问题是,flink是否保持着他已经关闭的窗口的状态?否则,我没有其他解释为什么属于以前从未打开过的窗口的事件会打开一个窗口而不会立即删除它。 假设我们的窗口是1小时,禁止自动关闭是10分钟 让我们举个例子: event1=("2022-01-01T08:25:00Z")= event2=("2022-01-01T09:2

  • 我有一个标题,我想显示一个图像在它的右边,当鼠标在标题上。 > 我正在将变量editMode的状态设置为true/false 然后我使用onMouseOver和onMouse事件有条件地呈现图像。 现在,当我悬停在标题上时,编辑模式设置为true,图像显示出来,当我将光标移出标题时,editMode设置为false,图像消失。 我正在维护一个变量editMode的状态,该状态被设置为true/fa

  • 我正在用pygame制作一个游戏,在制作这个游戏时,我在屏幕上使用了很多文本。但是当我在我的代码中达到这一点时,第一个写的文本不会闪烁,但是第二个会闪烁,我想改变这一点。而且,当我拿着钥匙时,当我只想让它写一次信时,这封信就会被一遍又一遍地快速地写下来。代码: 编辑:现在唯一的问题是闪烁的文字,因为我得到了一个解决方案

  • 问题内容: 有什么简单的方法可以使文本在jQuery中闪烁并停止它?必须适用于IE,FF和Chrome。谢谢 问题答案: 例如 这也是一个非常简单的插件,您可以扩展它以停止动画并按需启动它。