Flink KeyedProcessFunction与广播状态

Question

我尝试在我的flink应用程序中使用广播状态模式，但经过一些研究，我做了以下工作：

case class MyData(field1: String, field2: String, ts: Long, type: String) // type can be DATA or CONFIG

val stream1: DataStream[MyData] = ... // kinesis queue 1. main Data stream
val stream2: DataStream[MyData] = ... // kinesis queue 2. configuration stream

val union = stream1.union(stream2)
  .keyBy(x => s"${x.field1}_${x.field2}")
  .process(new MyProcessFun)

在MyProcessFun（）中，我读取数据，并根据来自stream 2的数据对数据进行一些逻辑处理并发出一些元素。基本上，我使用stream 2就像广播状态模式一样。我没有专门使用广播，因为没有简单的方法可以从Process BroadcastElement访问我的某些状态。由于我的配置流被用作清理状态的指示符，我在我的MyProcessFun（）中拥有。

流是<代码>。keyBy所以我不希望出现并行性问题

我的问题是，还需要广播哪些案例？在什么情况下需要使用广播模式？因为在许多情况下，这种功能可以在<代码>的帮助下解决。union（），。connect（）//无广播{Co}ProcessFunction（）。

Answer 1

这里要说两件事。首先，似乎您可以使用标准的KeyedCoProcess函数来实现您现在使用Union所做的事情。它不会有太大区别，但您可以为两个流设置单独的类，以便更好的类型安全性和更好的域隔离。

至于广播，主要的用例是当控制流没有键，或者根本不能/不应该被分区时。

可以考虑的一个例子是，您可能有一些由外部系统生成的事件，并且您希望应用规则来筛选出不符合规则中要求的事件。您希望有动态规则，这样，如果用户定义了规则，它将立即用于过滤传入事件。为了简单起见，让我们假设规则对所有事件类型都是非常通用的（例如，如果事件发生在给定日期的下午5点之后，那么应该对其进行过滤，或者如果事件持续时间超过5分钟，我们假设它无效）。您无法对这些规则进行分区，因此解决方案将是广播。

或者，如果你想有一个系统，可以实时计算送货司机的总收入。您可能会获得一系列额外的奖金（例如，如果司机在一小时内完成10次送货，则会获得5%的奖金）。你不想为每个车手创建一套单独的奖金规则，这样你就可以通过按键来获得奖金，对吗？：）