如何组织复杂的Apache Flink应用程序？

Question

我们使用flink从一些物联网传感器生成事件。每个传感器都可用于生成不同类型的事件（如温度、湿度等）。一比多比率（传感器-

为了丰富传感器数据，我们将连接传感器数据流和表API。只需添加带有已启用事件列表的元数据。

那么，如果某些特定的传感器-123仅启用了TEMP和PRESSURE事件，如何将传感器数据仅发送到这两个定义的过程函数？

我想到了如下情况：

val enriched: DataStream[EnrichedSensorData] = ...

val temp = enriched.filter(x => isTempEnabled(x)).process(....)
val humd = enriched.filter(x => isHumdEnabled(x)).process(....)
val press = enriched.filter(x => isPressEnabled(x)).process(....)

>

在我的案例中，执行数据丰富过程的最佳方式是什么？将传感器数据流与表流连接（通过flink cdc连接器）使用浓缩过程中的状态功能缓存映射传感器ID-

Answer 1

>

如果您有数百万个传感器，每个传感器都有元数据，那么使用JDBC源，并与传感器数据进行（有状态的）连接。您必须处理在相应的元数据记录之前获取传感器数据记录的情况，在这种情况下，您希望将其存储为状态，然后在元数据记录到达时生成结果（和清除状态）。