如何管理Kafka KStream到KStream窗口连接？

Question

基于apache Kafka文档KStream-to-KStream联接始终是窗口联接，我的问题是如何控制窗口的大小？保持主题上的数据的大小是一样的吗？或者例如，我们可以将数据保留一个月，但只加入过去一周的流？

有没有什么好的例子来展示一个窗口的KStream-to-kStream窗口连接？

在我的例子中，假设我有2个KStream、KStream1和KStream2我希望能够加入10天的KStream1到30天的KStream2。

Answer 1

那是绝对有可能的。定义流运算符时，可以显式指定联接窗口大小。

KStream stream1 = ...;
KStream stream2 = ...;
long joinWindowSizeMs = 5L * 60L * 1000L; // 5 minutes
long windowRetentionTimeMs = 30L * 24L * 60L * 60L * 1000L; // 30 days

stream1.leftJoin(stream2,
                 ... // add ValueJoiner
                 JoinWindows.of(joinWindowSizeMs)
);

// or if you want to use retention time

stream1.leftJoin(stream2,
                 ... // add ValueJoiner
                 (JoinWindows)JoinWindows.of(joinWindowSizeMs)
                                         .until(windowRetentionTimeMs)
);

有关更多详细信息，请参见http://docs.confluent.io/current/streams/developer-guide.html#joining-streams。

滑动窗口基本上定义了一个附加的联接谓词。在类似SQL的语法中，这类似于：

SELECT * FROM stream1, stream2
WHERE
   stream1.key = stream2.key
   AND
   stream1.ts - before <= stream2.ts
   AND
   stream2.ts <= stream1.ts + after