keyBy和following运算符的Flink水印

Question

Flink源函数引入水印，这些水印向下传递给下游操作符，根据这些操作符可以执行不同的基于时间的操作。对于使用多个流的操作员，将传入水印的最小值视为此时操作员的水印。

将源流拆分为多个逻辑流，然后将这些逻辑流传递给下游操作员（例如处理函数）。

Eg.

driversStream.keyBy(driver => driver.Id).process(new ProcessDriversFunction)

class ProcessDriversFunction extends ..... {
   override def processElement(record Driver, ctx Context, out Collector) {
      // Register an event timer to fire after 5 seconds
      ctx.timerService().registerEventTimeTimer(record.timestamp+5)
   }
}

假设Process函数有4个子任务（例如P1， P2， P3， P4），并且有100个关键组（假设KG1， KG2...... KG100），每个子任务处理25个关键组，即P1处理KG1到KG25，P2处理KG26到KG50等等。

如果从下午5点开始DriverStream中没有任何元素，则P1、P2、P3、P4中的任何一个都不会在下午5点之后获取水印，因此下午5点之后不会触发计时器。

比方说，在下午5点，驱动程序流开始获取记录，以便所有记录都映射到一个关键组，即KG1，并因此被处理函数的一个子任务处理（即P1）。

• 事件时间是否在P2、P3、P4上进行，因为他们没有收到任何记录

Answer 1

事件时间是否在P2、P3、P4进行，因为他们没有收到任何记录。

这取决于源函数是否有空闲实例，以及是否将withidless（）与水印策略一起使用。如果源函数的所有实例都在处理来自KG1的记录，或者如果使用了withIdleness（），则水印将在P2、P3和P4上前进。

。。。P1上为KG2到KG25注册的计时器是否被解雇？

是的。当前水印应用于整个给定的子任务，而不管键或键组如何。