如何在Flink中连接2个以上的流？

Question

我有3个不同类型的键控数据流。

DataStream<A> first;
DataStream<B> second;
DataStream<C> third;

first.connect(second).process(<CoProcessFunction>)

我不能使用联合（允许多个数据流），因为类型不同。我希望避免创建包装器，并将所有流转换为相同的类型。

Answer 1

包装器方法并不是太坏，真的。您可以创建一个eitherofthree 包装类，它类似于Flink现有的either ，然后在单个函数中处理这些记录的流。类似于：

    DataStream <EitherOfThree<A,B,C>> combo = first.map(r -> new EitherOfThree<A,B,C>(r, null, null))
        .union(second.map(r -> new EitherOfThree<A,B,C>(null, r, null)))
        .union(third.map(r -> new EitherOfThree<A,B,C>(null, null, r)));
    combo.process(new MyProcessFunction());

Flink的或者类有一个更优雅的实现，但对于您的用例来说，应该使用一些简单的实现。