在Flink作业中通过两个流与主流进行操作

Question

在Flink-Job中，我目前有两个流，一个是每分钟从Kafka主题更新的主数据流，另一个流（广播流）用于KeyedBroadcastProcessFunction的process元素函数中，用于对主流数据进行一些计算。

2）主数据可以有两个广播流吗？

3）由于流数据是完全不同的数据，广播，第三个数据流不经常变化，所以连接是不起作用的。它就像一个主数据，在计算中和主数据流一起使用，找不到任何解决方案，但请帮助。请分享一些我可以参考的链接。

Answer 1

Flink不提供任何具有三个输入的过程函数。

您可以将两个广播流合并在一起（在广播之前）。我很欣赏他们是非常不同的类型，但你总能找到一些方法让他们共存。如果没有更自然的方法来统一这两种类型，您可以使用任何一种。要将两个完全不同的类型联合到一个流中,可以执行如下操作：

java prettyprint-override">DataStream<String> strings = env.fromElements("one", "two", "three");
DataStream<Integer> ints = env.fromElements(1, 2, 3);

DataStream<Either<String, Integer>> stringsOnTheLeft = strings
        .map(new MapFunction<String, Either<String, Integer>>() {
            @Override
            public Either<String, Integer> map(String s) throws Exception {
                return Either.Left(s);
            }
        });

DataStream<Either<String, Integer>> intsOnTheRight = ints
        .map(new MapFunction<Integer, Either<String, Integer>>() {
            @Override
            public Either<String, Integer> map(Integer i) throws Exception {
                return Either.Right(i);
            }
        });

DataStream<Either<String, Integer>> stringsAndInts = stringsOnTheLeft.union(intsOnTheRight);

或者如果您可以将广播流以不同的阶段应用于主流，那么您可以有两个KeyedBroadcastProcessFunctions的序列，其中一个输出提供给另一个：

events
    .keyBy(x -> x.foo)
    .connect(broadcast1)
    .process(new process1())
    .keyBy(x -> x.foo)
    .connect(broadcast2)
    .process(new process2())

...[我]如何向[广播]流提供与这些相同的密钥？

钥匙不一定要是一样的，它们只要是相同的类型就可以了。