具有数百万输出的Apache Flink flatMap

Question

每当我收到消息时，我都想从数据库中读取，可能会返回数百万行，然后我想将这些行传递到流中。这在Flink被认为是良好的做法吗？

public static class StatsReader implements FlatMapFunction<Msg, Json> {

    Transactor txor = 
        ...;

    @Override
    public void flatMap(Msg msg, Collector<Json> out) {

        //Possibly lazy and async stream
        java.util.Stream<Json> results = 
            txor.exec(Stats.read(msg)); 

        results.foreach(stat->out.collect(stat));

    }
}

编辑：

背景：我想动态运行报告。db基本上是一个巨大的窗口。该报告基于该窗口实时数据。该报告具有高度的可定制性，因此很难预先处理结果或定义管道。

我今天使用的是vanilla java，管道大致是这样的：报告定义-

Answer 1

原则上这应该是可能的。但是，我建议使用异步函数，而不是平面映射函数。

请注意，这样的设置可能需要调整检查点参数，例如检查点间隔。