如何将Flink作业与Guava缓存并行化？

Question

我写了一份使用番石榴缓存的Flink作业。缓存对象是在main（）函数中调用的run（）函数中创建和使用的。

它类似于：

main() {
   run(some,params)
}

run() {
   //create and use Guava cache object here
}

如果我以某种程度的并行性运行这个Flink作业，所有并行任务是否都将使用相同的缓存对象？如果没有，如何使它们都使用单个缓存？

缓存用于流的进程（）函数内部。所以这就像

incoming_stream.process(new ProcessFunction() { //Use Guava Cache here })  

您可以将我的用例视为基于缓存的重复数据消除，因此我希望所有并行任务都指向单个缓存对象

Answer 1

Flink任务在多个JVM或机器上运行，因此问题是如何在JVM之间共享对象。

通常，您可以通过RPC（通过tcp）或rest（通过http）调用从远程JVM获取对象。

或者，您可以序列化对象并将其存储到像Reid这样的数据库中，然后从数据库中读取并反序列化到对象。

在Flink中，有一种更优雅的方法来实现这一点，您可以将对象存储在状态中，而广播状态可能适合您。

广播状态的引入是为了支持来自一个流的一些数据需要广播到所有下游任务的用例

希望这有帮助。

Answer 2

将番石榴缓存与Flink一起使用通常是一种反模式。并不是说它不能正常工作，但可能有一个更简单、更可扩展的解决方案。

使用Flink以完全可扩展、高性能的方式进行重复数据消除的标准方法是按某个键（使用keyBy）对流进行分区，然后使用keyed state来记住已看到的键。Flink的键控状态由Flink管理，使其具有容错性和可重新扩展性，同时保持其本地性。Flink的键控状态是一个分片键/值存储，每个实例处理键空间某个部分的所有事件。您可以保证，对于每个密钥，同一密钥的所有事件都将由同一个实例处理——这就是为什么这种方法适用于重复数据消除。

如果您需要所有并行实例都有某个（可能正在演变的）数据集的完整副本，这就是广播状态的用途。