在Flink（浓缩）中结合低延迟流和多元数据流

Question

我正在评估Flink，用于流式分析场景，但还没有找到足够的信息，说明如何实现我们今天在遗留系统中所做的ETL设置。

一个非常常见的场景是，我们有一个键控的低吞吐量元数据流，我们希望使用这些数据流来丰富高吞吐量数据流，如下所示：

这就提出了两个关于Flink的问题：如何使用时间窗口重叠但不相等的缓慢更新流来丰富快速移动的流（元数据可以活几天，而数据可以活几分钟）？如何有效地将多个（最多10个）流与Flink连接起来，比如一个数据流和九个不同的富集流？

我知道我可以用非窗口的外部ETL缓存来实现我的ETL场景，例如用Redis（这就是我们今天使用的），但是我想看看Flink提供了哪些可能性。

Answer 1

Flink有几种可用于浓缩的机制。

我将假设所有流共享一个可用于连接相应项的公共键。

最简单的方法可能是使用richflatmap并在其open（）方法（关于rich函数的文档）中加载静态浓缩数据。这仅适用于浓缩数据是静态的，或者当您希望更新浓缩数据时愿意重新启动浓缩作业的情况。

您将在Apache Flink培训教材中找到详细的示例和代码。

如果您有许多流（例如，10个）要连接，您可以级联一系列这两个输入的coProcessFunction运算符，但不可否认，这在某些时候会变得相当尴尬。另一种方法是使用union运算符将所有元数据流组合在一起（注意，这要求所有流具有相同的类型），然后使用richcoflatmap或coprocessfunction将这个统一的浓缩流与主流连接起来。

更新：

SELECT *
FROM Orders o, Shipments s
WHERE o.id = s.orderId AND
  o.ordertime BETWEEN s.shiptime - INTERVAL '4' HOUR AND s.shiptime