闪烁窗口拖动流性能

Question

作业并行性（4,8,16):[自动生成源]-->[Map1]-->[滚动窗口(10s)]-->[Map2]-->[接收器]

Flink窗口性能eps 4p、8p、16p

作业以上的性能最高达到了每秒50k+-左右，不管我如何将集群缩放成4-16的并行度。

闪烁性能无窗口4p、8p

我已经删除了窗口的逻辑，以消除瓶颈性能的应用程序逻辑，但似乎窗口仍然导致我的整个流性能下降，即使该窗口只是一个通过函数。

这个屏幕截图显示了没有窗口的作业和启用空窗口的作业的性能。

Answer 1

进一步的研究表明这是由于keyBy（）对keyedStream操作造成的，当流被键控时，性能下降了近40%，并且如果有多个keyedStream则性能继续下降。

        DataStream<Tuple2<String, MyObj>> testStream = finalizedStream
            .map(new RichMapFunction<MyObj, Tuple2<String, MyObj>>() {

                @Override
                public Tuple2<String, MyObj> map(MyObj value) throws Exception {
                    return new Tuple2<String, MyObj>(value.getCustomKey(), value);
                }
            });

    KeyedStream<Tuple2<String, MyObj>, Tuple> keyedStream = testStream.keyBy(0);
    keyedStream.map(new MapFunction<Tuple2<String, MyObj>, MyObj>() {

        @Override
        public MyObj map(Tuple2<String, MyObj> tuple) throws Exception {
            return tuple.f1;
        }
    }).name("keyed stream");

反正我能让演出更好？看来使用键控是不可避免的。我也不确定为什么我们在我们的环境中也尝试扩展工作，性能仅仅是一个数字，而不管我们提供了多少并行性。CPU利用率和内存显示，当使用nmon监视时，它并不处于关键状态。

任何投入和帮助将非常感谢。