如何在Flink中实现键控窗口超时？

Question

我对流中的事件进行了键控，我希望通过键来累积，直到超时（例如，5分钟），然后处理累积到该点的事件（忽略该键之后的所有内容，但首先是第一件事）。

我是一个新的Flink，但从概念上来说，我认为我需要一些类似下面代码的东西。

    DataStream<Tuple2<String, String>> dataStream = see
            .socketTextStream("localhost", 9999)
            .flatMap(new Splitter())
            .keyBy(0)
            .window(GlobalWindows.create())
            .trigger(ProcessingTimeTrigger.create()) // how do I set the timeout value?
            .fold(new Tuple2<>("", ""), new FoldFunction<Tuple2<String, String>, Tuple2<String, String>>() {
                public Tuple2<String, String> fold(Tuple2<String, String> agg, Tuple2<String, String> elem) {
                    if ( agg.f0.isEmpty()) {
                        agg.f0 = elem.f0;
                    }
                    if ( agg.f1.isEmpty()) {
                        agg.f1 = elem.f1;
                    } else {
                        agg.f1 = agg.f1 + "; " + elem.f1;
                    }
                    return agg;
                }
            });

如何在Flink中完成键控窗口超时？

Answer 1

如果您使用keyedprocessfunction来处理这个问题，将会轻松得多。

我建议在keyedProcessFunction的open（）方法中建立一个keyedListState项。在processElement（）方法中，如果列表为空，则设置一个处理时间计时器（每键计时器，相对于当前时间），以便在希望窗口结束时触发。然后将传入事件追加到列表中。

当计时器触发时，将调用onTimer（）方法，您可以对列表进行迭代，生成一个结果，并清除列表。

文档描述了如何使用流程函数以及如何使用状态。你可以在Flink培训站点找到额外的例子，比如这个练习。