Flink keyby/window操作员任务执行地点和内部

Question

我是Flink的新人。我正在编写一个简单的Flink POC程序，在这里我能够获得预期的输出。但我无法获得钥匙和车窗操作的内部信息。以下是我的代码，

environment
.addSource(consumer)
.name("MyKafkaSource")
.setParallelism(2)
.flatMap(pojoMapper)
.name("MyPojoMapper")
.setParallelism(2)
.keyBy(new MyKeyExtractor())
.timeWindow(Time.seconds(60))
.apply(new SumFunction())
.name("MySumFunction")
.setParallelism(2)
.print()
.name("S3FileSink")
.setParallelism(2)

在部署Flink作业时，我在Flink UI中看到以下图表，

任务展示台

从上图中，我完全理解了它使用了2个任务和4个插槽，每个任务有2个并行性。第一个任务有源，pojo映射器第二个任务有sum函数，sink函数。

现在的问题是，

>

KeyBy和Window操作在哪里？在第一个任务还是第二个任务中？为什么它在上面的图像中不可见？有什么方法可以可视化吗？

假设对于1个窗口（60秒间隔），我收到100个不同的键，每个键在1分钟内收到5条记录，那么在1个窗口间隔内在内部创建了多少个窗口对象？我假设创建了100个窗口对象，每个窗口对象将保存5条记录。我的假设是否正确？如果没有，请解释内部发生了什么？如果可能，请共享与此相关的任何文档。

Answer 1

因为它们是通过数据转发连接连接的，所以源和平面图运算符被链接到同一个任务中，这同样适用于窗口和接收器。但是由于平面图和窗口是由keyBy连接的，因此需要进行网络洗牌。

因此，您的作业总共有4个任务：2个source plus flatmap实例，2个window plus sink实例。这4个任务部署到2个任务槽中，每个槽都有一个源/平面图任务和一个窗口/接收器任务。

keyBy在图上表示哈希的位置进行了描述。keyBy不是操作符，而是描述如何连接keyBy前后的操作符。

这两行代码

.timeWindow(Time.seconds(60))
.apply(new SumFunction())

一起描述窗口运算符，在图中显示为mySumFunction。窗口在第二个任务中。

假设每个不同的键都有一个窗口，这100个窗口中的每一个都包含5条记录，这是正确的。

要了解更多关于Flink的信息，我可以推荐Apache Flink培训、Apache Flink流处理以及在YouTube上搜索Flink Forward对话。