Kafka流-抑制到窗口结束（不关闭）

Question

我正在窗口流上执行聚合，希望抑制早期聚合结果。我所说的早期结果是指在窗口结束前计算的结果，而不是那些在宽限期内发生的结果。因此，我想用时间戳抑制所有聚合结果

最小Kafka流拓扑示例：

new StreamsBuilder()
        .stream("my-topic")
        .windowedBy(TimeWindows.of(myWindowSize).grace(myGracePeriod))
        .reduce(myReducer)
        .suppress( /* searched for*/ )
        .toStream();

因此，被抑制。直到Windows关闭（…）不是我的选择，因为我必须等到宽限期到期，这可能会很长。

根据KIP-328，使用Suppressed可以准确地获得所需的行为。非实时限制（持续时间为0，…） as（引用KIP的描述）：

a、 要等待多长时间才能发出更多更新。这是一个时间量，从事件时间（对于常规KTables）或窗口端（对于带窗口的KTables）测量，以缓冲每个键，然后向下游发射。

然而，Kafka Streams JavaDoc以及相应的实现意味着情况并非如此，并且时间限制在接收每个（windows-）键的第一个记录时开始倒计时，而不是在窗口结束时。

我很高兴能澄清这一点，并支持如何实现期望的行为。




Answer 1

KIP描述不正确（我相应地更新了wiki页面）。请注意，再往下看，基普说：

速率限制更新

假设我们希望将KTable的更新速率降低到大约每30个密钥更新一次。我们不想为此使用太多内存，而且我们认为在任何时候都不会有超过1000个密钥的更新。

table
  .suppress(untilTimeLimit(Duration.ofSeconds(30), maxRecords(1000)))
  .toStream(); // etc.

因此，使用untilTimeLimit是用来在一个固定的时间间隔内发射的。对于窗口聚合，时间间隔计时器将在窗口开始时开始-您仍然可以将等待周期设置为窗口大小，以不获得任何“早期”更新，但是您不会在窗口结束后看到每个更新，而是只能在“窗口大小间隔”中看到更新。如果宽限期真的很长，这可能还不够好吗？

你描述的用例目前不支持，但我认为这是一个非常有趣和有用的用例。也许你可以创建一个功能请求票？