如何使用Flink计算时间窗口流中的唯一单词？

Question

有没有办法用 Flink Streaming 计算时间窗口流中唯一单词的数量？我看到这个问题，但我不知道如何实现时间窗口。

Answer 1

当然，这很简单。如果您希望在每个时间窗口内对所有输入记录进行聚合，那么您将需要使用windowAll()的一种风格，这意味着您将不会使用keyedstream，并且您不能并行操作。

您需要决定是要滚动窗口还是滑动窗口，以及是在事件时间还是在处理时间进行操作。

但是粗略地说，你会做这样的事情：

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.addSource( ... )
    .timeWindowAll(Time.minutes(15))
    .apply(new UniqueWordCounter())
    .print()
env.execute()

您的 UniqueWordCounter 将是一个 WindowFunction，它接收窗口中所有单词的可迭代，并返回唯一单词的数量。

另一方面，如果您使用的是键控流，并且想要计算每个键的唯一单词，请相应地修改应用程序：

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.addSource( ... )
    .keyBy( ... )
    .timeWindow(Time.minutes(15))
    .apply(new UniqueWordCounter())
    .print()
env.execute()