在Flink中用(X)键控的慢变流丰富(X，Y)键控的快速流

Question

我需要用（userId）键控的缓慢变化的streama来丰富由（userId,startTripTimestamp）键控的快速变化的streama。

我使用带有数据流API的Flink1.8。我考虑两种方法：

>

广播streamb并通过用户ID和最新时间戳连接流。它是否等同于TableAPI中的DynamicTable？我可以看到这种解决方案的一些缺点:streamB需要放入每个工作节点的RAM中，这会增加RAM的利用率，因为streamB需要存储在每个工作节点的RAM中。

我也看到过这个建议https://cwiki.apache.org/confluence/display/flink/flip-17+side+inputs+for+datastream+api，里面说：

一般而言，这些数据大多遵循这样的模式：将高吞吐量的主流与一个或多个缓慢变化或静态数据的输入连接起来：

[...]

Answer 1

在Gaurav Kumar已经回答的基础上。

主要的问题是，您是否需要精确匹配Streama和Streamb中的记录，还是最大努力匹配？例如，这是一个问题，对你来说，因为一个种族条件一些（很多？）streama中的记录可以在streamb中的某些更新到达之前处理，例如在启动期间？

我建议从表API如何解决这个问题中获得启发。可能时态表联接对您来说是正确的选择，这将留给您一个选择：处理时间还是事件时间？

Gaurav Kumar的这两个建议都是处理时间时态表连接的实现，它假设记录可以非常松散地连接，并且不必正确地计时。

如果streama和streamb中的记录必须正确定时，那么您必须以某种方式缓冲这两个流中的一些记录。有各种各样的方法如何做，这取决于你想要实现的语义。在确定了这一点之后，实际的实现就不那么困难了，您可以从表API联接操作符(flink-table-planner模块中的org.apache.flink.Table.runtime.join包）中获得灵感。

边输入（您引用的）和/或输入选择只是控制不必要的缓冲记录数量的工具。您可以在没有它们的情况下实现有效的Flink作业，但是如果一个流显著超过另一个流（就事件时间而言--对于处理时间而言，这不是问题），那么内存消耗就很难控制了。