流中记录的排序

Question

以下是我的一些疑问：

我有两个不同的流，元素按顺序排列。

1）现在，当我在这些流中的每一个上执行keyBy时，会维护顺序吗？（因为这里的每个组都将仅发送给一个任务管理器）我的理解是，记录将是一个组的顺序，在这里纠正我。

2） 在这两个流上执行按键操作后，我正在进行联合分组，以获取匹配和非匹配记录。这里也会维持秩序吗？，因为这也适用于KeyedStream。我正在使用事件时间（EventTime）和上升时间（AscendingTimestampExtractor）生成时间戳（timestamp）和水印（watermark）。

3） 现在，我想使用map/flatmap对我从2）获得的匹配非匹配流执行序列检查。我是否需要在此处再次执行按键，或者如果我保留在链中，匹配的非匹配流是否会在相同的TaskManager中运行？我在这里的理解是，链将在这里工作，请纠正我，我感到困惑。

4） 插槽共享组（slotSharingGroup）-请您根据doc：设置此操作的插槽共享组来描述更多信息。如果可能，同一插槽共享组中的并行操作实例将位于同一个TaskManager插槽中。

Answer 1

1） 是和否。Flink使用所谓的水印来跟踪订单。这样可以确保将记录分配到正确的窗口，并且在所有数据可用之前不会关闭窗口。但是，不能保证每个组都有严格的顺序（因为并行传入数据）。在组之间，根本没有订购保证。

2） 与（1）的答案基本相同。

3） 无需再次使用按键。默认情况下，将链接平面地图。

4）见https://ci.apache.org/projects/flink/flink-docs-release-1.0/internals/general_arch.html#the-processes

Answer 2

本页提供了良好的概述和解释，以及订购保证：https://ci.apache.org/projects/flink/flink-docs-release-1.0/concepts/concepts.html#parallel-数据流

要点是：

在每个并行流分区中维护顺序。有关流分区的说明，请参见此处：https://ci.apache.org/projects/flink/flink-docs-release-1.0/concepts/concepts.html#parallel-数据流

对于更改分区的“keyBy（）”或“重新平衡（）”等操作，顺序按每对源流和目标流分区维护，即按每对发送和接收运算符维护。

正如Matthias所提到的，如果一个组（由一个键定义，在一个接收目标操作符上运行）从多个发送方获取元素，则没有定义良好的元素严格排序。使用事件时间等概念，您可以基于数据（附加的时间戳）施加有意义的排序。