Apache Flink：如何处理三个流

Question

我想在一个操作符中接收和处理三个流。例如，Storm中实现的代码如下：

<代码>生成器。setBolt（“C\u螺栓”，C\u螺栓（），parallelism\u提示）。字段分组（“A\u bolt”，“TRAINING”，新字段（“word”））。字段分组（“B\U螺栓”，“分析”，新字段（“word”））。所有分组（“A\U螺栓”、“总和”）

在Flink中，实现了SUM流（A_bolt的SideOutput）和TRAINING流（A_bolt）的处理：

SingleOutputStreamOperator<Tuple3<String, Integer, Boolean>> A_bolt;
DataStream<Tuple2<Integer, Integer>> Sum = A_bolt.getSideOutput(outputTag).broadcast();
DataStream<Tuple3<String, String, Integer>> B_bolt;
DataStream<String> C_bolt= A_bolt
                        .keyBy(new KeySelector<Tuple3<String,Integer,Boolean>, String>() {
                                    @Override
                                    public String getKey(Tuple3<String,Integer,Boolean> in) throws Exception {
                                        return in.f0;
                                    }
                                })
                        .connect(Sum)
                        .flatMap(new Process())
                        .setParallelism(parallelism);

但我不知道如何添加分析流（B\u bolt）。谢谢你的帮助。

Answer 1

Flink只支持一个输入和两个输入流操作符。您可以选择：

1. 使用Union（）创建一个合并流，其中包含来自所有三个流的所有元素（它们必须都是相同的类型，尽管您可以使用任何一种来协助执行此操作）。
2. 使用coFlatMap合并两个流后，将该初步结果连接到第三个流，使用另一个coFlatMap（或coProcessFunction）完成处理。

或者在你的情况下，这两种技术的结合更可取。