处理Flink ConnectedStream中的“状态刷新”

Question

我们正在构建一个具有两个流的应用程序：

1. 大量信息流

我们希望连接这两个流以获得共享状态，以便第一个流可以使用第二个状态进行扩展。

每天左右，拼花文件（第二流的源代码）都会更新，这需要我们清除第二流的状态并重建它（可能需要大约2分钟）。

问题是，我们可以在该进程运行时阻止/延迟来自第一流的消息吗？

谢谢。

Answer 1

听起来您的案例有点像Flip-23，它探索了Apache Flink中的模型服务。

我认为这一切归结于如何（以及是否）为静态流设置关键帧：

• 如果它以与快速数据类似的方式进行键控，那么您可以对两个流进行键控，连接它们，然后访问键控上下文。
• 如果静态流事件没有以类似的方式键控，也许您应该考虑发出控制事件，这将触发从外部源刷新这些静态文件（例如s3）。说起来容易做起来难，因为没有简单的方法可以保证快速流的所有并行实例都将获得控制事件。您可以使用ListState作为缓冲区，但您如何访问它取决于您的数据形状。

如果您分享更多关于数据形状的信息（例如，您是否加入了一个密钥？您只是在为一个模型提供服务？其他？），这可能会有所帮助。

Answer 2

不幸的是，目前没有直接/简单的方法来阻止另一个流上的一个流。典型的解决方案是在加载（或重新加载）浓缩液流时缓冲摄取液流。

您可以尝试的一种方法是，将摄取流封装在一个自定义的源函数中，该函数基于一些外部触发器（这与您知道要重新加载镶木地板数据的信号相同）知道何时不生成数据。