如何合并多个kafka流，以便对结果流的所有事件执行会话窗口

Question

我们有多个具有不同业务事件（页面视图、单击、滚动事件等）的输入主题。据我所知，Kafka流都有一个事件时间戳，可用于KStream与其他流或表的连接以对齐时间。

我们要做的是：合并用户id（即按用户id分组）的所有不同事件（源自上述不同主题），并对其应用会话窗口。

这应该通过在包含所有事件的流上使用group pByKey，然后使用聚合/减少（在此指定非活动时间）来实现。这个组合流必须按照事件时间的顺序（或者以上kafka流方法尊重这个事件时间的方式）包含来自不同输入主题的所有事件。

剩下的唯一挑战是创建这个组合/合并流。

当我查看Kafka Streams API时，有一个KStreamBuilder#merge操作，javadoc说：对于来自不同{@link KStream}的记录没有排序保证。。这是否意味着会话窗口将产生不正确的结果？

如果是，除了“合并”还有什么选择？

Answer 1

我们要做的是：合并所有不同的事件（源自上面提到的不同主题）的用户标识（即按用户标识分组），并对其应用会话窗口。

据我所知，您需要加入流（并使用groupBy确保它们可以通过用户id正确加入），而不是合并它们。然后，您可以使用会话窗口聚合进行后续操作。

Answer 2

我也在考虑加入，但事实上，这似乎取决于每个ID的每个主题是否有一个事件，或者在一个输入主题中是否有多个ID相同的事件。对于第一种情况，加入是一个很好的策略，但对于后一种情况，则不是这样，因为您会得到一些不必要的重复。

stream A: <a,1> <a,2>
stream B: <a,3>
join-output plus session: <a,1-3 + 2-3>

编号3将是重复的。

还要记住，如果您在连接结果或原始数据上应用时间戳，那么连接会稍微修改时间戳，因此您的会话窗口可能会有所不同。

关于merge（）和排序。您可以安全地使用merge（），因为会话窗口将基于记录时间戳而不是偏移顺序生成。Kafka流中的所有窗口操作都可以优雅地处理无序数据。