Apache Flink浓缩

Question

我有一个这样的事件来源

class Event {
    String userName;
    String webPage;
}

我需要通过用户过去的网页访问来丰富我的事件流。（我在数据库中拥有信息，我可以将其用作Flink源）

class EventStats {
    String userName;
    Map<String,Integer> webPageCounters; 
}

如何确保在开始处理事件流之前，我已经准备好了扩展数据
我不想从流中进行DB调用。

Answer 1

使用Flink tbh做到这一点可能很困难。我想到的第一个想法是在作业启动时进行数据库扫描并创建一个单独的流。该流可用于初始化，您可以简单地将其与实际的EventStats流结合起来，但由于这个问题，这目前是不可能的。因此，基本上可以使用两种解决方案。

第一个非常简单，因此如果您手动进行连接，您可以保留来自Event流的元素，这些元素没有匹配的EventStats。如果您收到EventStats，只需检查是否有任何匹配的事件可以发出即可。如果元素不匹配，您可能还应该有一个逻辑，在一段时间后将其从状态中删除。

另一种解决方案有点棘手，但也更优雅。因此，基本上您可以实现自定义操作符，该操作符确实实现了InputSelectable，它首先尝试使用EventStats中的所有内容，然后才开始读取事件流的元素。这里有一些注意事项，您可以参考文档了解更多信息。另外，请注意，Flink 1.9中引入了可选择的输入。