在KStream-KStream联接中自定义窗口存储实现

Question

我们需要在一个非常大的窗口中执行kstream-kstream联接，在这个窗口中，左侧的一个刻度只会触发与右侧最新记录的联接，反之亦然。

这不是默认窗口的工作方式，因为KStreamKStreamJoinProcessor中的window.fetch返回的WindowstReterator 是一个可以包含多条记录的迭代器。

特别是，我们注意到rockdbwindowstore有一个retainduplicates属性设置为true，我们希望它设置为false。

我们如何为KStream KStream join定制存储实现？

Answer 1

最简单的方法可能是将代码复制到一个具有新名称的类中，并相应地更改逻辑？另一种可能是将这两个流转换为ktables并执行表-表连接（您需要禁用两个输入ktables的缓存）。

但是请注意，对于您想要的连接类型，很难正确处理无序的数据。