Kafka流：在窗口化时重新处理旧数据

Question

具有Kafka Streams应用，其通过例如1天的流连接来执行开窗(使用原始事件时间，而不是挂钟时间)。

如果启动此拓扑，并从头开始重新处理数据（如在 lambda 样式的体系结构中），此窗口是否会将旧数据保留在那里？da 例如：如果今天是2022-01-09，而我收到来自2021-03-01的数据，那么这个旧数据会进入表格，还是会从一开始就被拒绝？

在这种情况下，可以采取什么策略来重新处理这些数据？

使用Kafka Streams 2.5.0进行更新

Answer 1

更新了OP Kafka Streams 2.5版的答案：

在使用事件时间时，只要没有事件包含闹钟时间，Kafka Streams的行为将独立于闹钟时间。您不应该将WallclockTimestampExtractor配置为时间戳提取程序。

Kafka Streams会将输入主题分区分配给流任务，这将一次消耗一个事件的分区。在任何给定的主题上，至多一个分区将被分配给一个流任务。为每个流任务分别执行时间窗聚合。Kafka Streams为每个聚合使用一个名为“observedStreamTime”的内部时间戳来跟踪迄今为止看到的最大时间戳。将传入记录的时间戳与观察到的流时间进行比较。如果它们早于配置的时间窗口存储的保留宽限期，它们将被丢弃。否则，它们将根据配置进行聚合。该实现可以在https://github . com/Apache/Kafka/blob/d5b 53 ad 132d 1c 1 bfcd 563 ce 5015884 b 6 da 831777/streams/src/main/Java/org/Apache/Kafka/streams/kstream/internals/kstreamwindowaggregate . Java # L108-L175中找到

如果重置Kafka Streams应用程序，此处理将始终产生相同的结果。它独立于处理的执行时间。如果删除事件，则更改相应的指标。

当使用多个主题时，这种方法有一个警告。observedStreamTime将反映流任务读取的所有分区的最高时间戳。如果您有两个主题（可能是因为您想加入它们），其中一个包含的数据比另一个要年轻得多（可能是由于后者没有收到新数据），则观察到的StreamTime将以年轻的主题为主。如果时间窗口配置没有足够的保留期或宽限期，则可能会删除旧主题的事件。有关配置选项，请参阅TimeWindows的JavaDoc：https://github.com/apache/kafka/blob/d5b53ad132d1c1bfcd563ce5015884b6da831777/streams/src/main/java/org/apache/kafka/streams/kstream/TimeWindows.java

在您的示例中，只要流时间进展不太快，就可以接受旧数据。重新处理整个数据集应该是可行的，因为它会线性地贯穿主题。如果旧数据在超过窗口大小宽限期的时间窗口中聚合，Kafka Streams将拒绝该记录。在这种情况下，Kafka Streams还将发出错误消息，并相应调整其指标。因此，这种行为应该很容易察觉。

如果可行，我建议尝试这种再处理，并观察日志和指标。