apache flink中两条以上流的联合

Question

我有一个关于Apache Flink中两个以上流的联合的架构问题。

我们有三个甚至更多的流，它们是某种代码书，我们必须与它们一起丰富主流。代码书流是压缩的Kafka主题。代码本是不会经常更改的东西，例如货币。主流是一个快速的事件流。我们的目标是用代码书丰富主流。

在我看来，有三种可能的方法可以做到这一点：

1. 对所有代码书进行联合，然后将其与主流连接并将丰富数据存储为托管的键控状态（因此当kafka的紧凑事件到期时，我将代码书保存在状态中）。这是我现在厌倦做这件事的唯一方法。取消JSON中的Kafka主题消息到POJO，例如货币、组织单元等。我用所有代码书制作了一个大包装类CodebookData，例如：

public class CodebookData {
 private Currency currency;
 private OrganizationUnit organizationUnit
...
}

接下来，我将每个kafka主题的传入流映射到这个包装类，然后建立一个联合：

DataStream<CodebookData> enrichedStream = mappedCurrency.union(mappedOrgUnit).union(mappedCustomer);

当我打印CodebookData时，它是这样填充的

CodebookData{
Currency{populated with data},
OrganizationUnit=null,
Customer=null
}
CodebookData{
Curenncy=null,
OrganizationUnit={populated with data},
Customer=null
}
...

在这里我停下来，因为我有问题如何将此Codebook流与主流连接并将密码本数据保存为值状态。我在我的Codebook数据中没有唯一的外键，因为每个密码本都有自己的与主流连接的外键，例如。货币有电流ID、组织单位org ID等。例如。我想做这样的事情

SingleOutputStreamOperator<CanonicalMessage> enrichedMainStream = mainStream
            .connect(enrichedStream)
            .keyBy(?????)
            .process(new MyKeyedCoProcessFunction());

在MyProcessFunction中，我将创建CodebookData类型的ValueState。

这是完全错误的还是我可以用它做些什么，如果它是我做错的两倍？

第二种方法是将一系列两个输入协处理函数操作符与每个kafka事件源级联，但我在某处读到这不是最佳方法。

第三种方法是广播状态，我并不太熟悉。现在我看到了问题所在，如果我使用RocksDb进行检查点和保存指向，我不确定是否可以使用广播状态。

我应该使用我目前正在努力的第一种方法中的其他方法吗？

Answer 1

在许多情况下，您需要像这样进行几个独立的扩展连接，更好的模式是使用扇入/扇出方法，并并行执行所有连接。

类似这样的情况，在确保主流上的每个事件都有一个唯一的ID之后，您可以创建每个事件的3个或更多副本：

然后，您可以按任何适当的方式为每个副本设置密钥—货币、组织单位等（或我从中获取此图的示例中的客户、IP地址和商户）—然后将其连接到适当的cookbook流，并独立计算每个双向联接。

然后将这些并行连接结果流联合在一起，按添加到每个原始事件的随机nonce键，并将结果粘合在一起。

现在在三个流的情况下，这可能过于复杂。在这种情况下，我可能只需要执行一系列三个双向连接，一个接一个，每次都使用keyBy和connect。但在某种程度上，随着时间的延长，以这种方式构建的管道往往会遇到性能/检查点问题。

这里有一个在中实现此扇入/扇出模式的示例https://gist.github.com/alpinegizmo/5d5f24397a6db7d8fabc1b12a15eeca6.