timeWindow不考虑事件时间

Question

我正在尝试Flink对从CSV文件加载的（排序的）时间戳事件进行基本聚合。

我告诉Flink使用活动时间：

env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)

然后我在KeyedStream上使用一个时间窗口

val distances = signals
  .assignAscendingTimestamps(_.ts)
  .map(s => (s.mmsi, s.ts, getPortDistance(s)))
  .keyBy(0)
  .window(TumblingEventTimeWindows.of(Time.seconds(1)))
  .sum(2).print()

问题是，将窗口更改为10分钟实际上会在该时间过后打印结果！

我的理解是，通过明确告诉Flink使用时间戳字段作为事件时间，操作将不依赖于机器上的实时性。我错过什么了吗？

Answer 1

首先，您必须了解水印以及如何生成水印。

什么是水印？

一般来说，水印是一种声明，表明到流中的那个点，达到某个时间戳的所有事件都应该已经到达。一旦水印到达操作员，操作员可以将其内部事件时间时钟提前到水印的值。有关更多详细信息，请查看官方文档。

如何生成水印？

因为您调用了assignAscendingTimestamps函数，这意味着您的水印是（最新接收元素的时间戳-1）。因此，您将获得升序水印，无法检索无序元素。

如何解决这个问题？

定义自己的水印时间戳。您可以查看“assignAscendingTimestamps”的详细实现，并尝试编写自己的。