Apache Flink的窗口化依赖于EventTime事件的时间戳分配

Question

我是新的apache flink，并试图了解事件时间和窗口的概念是如何处理的flink。

下面是我的设想：

>

我有一个程序，它以线程的形式运行，每秒创建一个包含3个字段的文件，其中第3个字段是时间戳。

虽然每隔5秒我会在创建的新文件中输入一个旧的时间戳（可以说是t-5），但还是有一些调整。

现在，我运行流处理作业，将上面的3个字段读入一个元组。

现在，我定义了以下用于水印和时间戳生成的代码：

   WatermarkStrategy
  .<Tuple3<String, Integer, Long>>forBoundedOutOfOrderness(Duration.ofSeconds(4))
  .withTimestampAssigner((event, timestamp) -> event.f2);

然后，我使用以下代码打开上面的窗口并尝试获取聚合：

 withTimestampsAndWatermarks
        .keyBy(0)
        .window(TumblingEventTimeWindows.of(Time.milliseconds(4000)))
        .reduce((x,y) -> new Tuple3<String, Integer, Long>(x.f0, x.f1 + y.f1,y.f2))

很明显，我试图聚合每个字段内的数字。（多一点上下文，我试图聚合的字段（f2）都是1）

因此，我有以下问题：

1. 也就是说，窗口只有4秒宽，每五个条目就有一个旧的时间戳，所以我希望下一个窗口的计数会更少。我的理解错了吗
2. 如果我的理解是正确的——我在并行运行两个程序时没有看到任何聚合，那么我的代码是否有问题
3. 另一个困扰我的问题是，windows的开始时间和结束时间真正依赖于哪些字段或哪些参数？是在从事件提取的时间戳上，还是在处理时间上

Answer 1

您必须配置允许的延迟时间：https://nightlies.apache.org/flink/flink-docs-release-1.2/dev/windows.html#allowed-迟到。如果未配置，Flink将删除延迟消息。因此，对于下一个窗口，元素将比上一个窗口少。

窗口由以下计算指定：

return timestamp - (timestamp - offset + windowSize) % windowSize

在您的情况下，偏移量为0（默认值）。对于事件时间窗口，时间戳是事件时间。对于处理时间窗口，时间戳是Flink操作符的处理时间。E、 g.如果windowSize=3，timestamp=122，则该元素将被分配给该窗口[120123]。