在flink广播流中处理大数据

Question

我正在使用一个Flink流式Java应用程序，输入源为Kafka。在我的应用程序中总共使用了4个流。一个是主数据流，另一个3个用于广播流。

我加入了使用任何一种类型的三个广播流。我已经作为流B广播，并且能够在广播过程函数上下文状态（即在processBroadcastElement（））中接收。

我的问题是,

>

是否可以在广播状态下存储大数据？

       Memory: 8 GB
       Disk Size: 20-25 GB

注意：根据我的理解，Flink广播状态在运行时保存在内存中（这意味着广播状态不会存储在rocksdb中），并且广播流用作低吞吐量事件流。因为当前RocksDB状态后端不能用于操作员状态。

Answer 1

广播状态的工作副本始终在堆上；不在RocksDB。因此，它必须足够小，以适应内存。此外，每个实例将把所有的广播状态复制到它的检查点中，因此所有的检查点和保存点将有广播状态的n个副本（其中n是并行度）。

如果您能够对此数据进行密钥分区，那么您可能不需要广播它。听起来可能是每个雇员的数据，可以通过EmployeeID进行键控。但如果不是，那么您就必须将它保持得足够小，以适应内存。