如何初始化Flink广播状态？

Question

我们试图构建一个用例，其中来自流的数据通过计算公式运行，但公式本身也应该（很少）是可更新的。从阅读文档来看，在我看来，Flink broadcast state自然适合这种情况。

作为一个实验，我构建了一个简化的版本：假设我有一个整数流，第二个流包含这些整数的乘法因子（我可以随意发送值）。第二个流的频率很低，很容易在事件之间的几天或几周内出现。目前，这两个都实现为简单的套接字服务器，最终产品将使用Kafka。

在我的示例应用程序中，这一切都是可行的，但我只剩下一个问题：当系统启动时会发生什么，而广播流上还没有发生任何事情？从哪里可以获得默认（或上次使用的）因子？在我的示例中，我现在通过硬编码一个值来解决这个问题，但这不是我可以使用的。

在我的实验项目中，我对此感到有点困惑，因为{processElement}只获得只读广播状态，但是在更新之前不会调用processBroadcastElement，这可能需要很长时间。我的计划是将使用的公式存储在数据库中，并在工作（重新）开始时以某种方式读取它，但我还没有找到一种方法来实现这一点。欢迎更多知识渊博的人提出任何建议，这是我的第一个Flink项目，所以我正在努力寻找解决html" target="_blank">方法。

工作示例如下：https://github.com/tonvanbart/flink-broadcast-example/tree/mapstate-attemptFlink代码处于classBroadcastState中。

提前谢谢。

Answer 1

如果系统从检查点/保存点重新启动，那么您有最后一个被广播的因子（通过状态），对吗？所以我假设问题是当它最初启动时该怎么办。

如果是这样，那么这是您使用的模式的一个常见问题，您实际上希望阻止整数流，直到您从广播流中获得初始值。

目前常见的解决方案是在运算符（使用状态）中缓冲整数流，直到您获得初始值，但这可能会导致无界状态，具体取决于整数进来的速度以及您必须等待的时间。

您还可以尝试包装整数源（使其成为委托），并且在知道已广播某些内容之前不要发出任何值。E、 g.将广播内容设置为可查询状态，并定期检查，直到该状态存在。