Apache Flink：如何为键控的CoFlatMapFunction划分事件？

Question

这是关于连接键控流的一个非常基本的问题。

如果我有两个具有共享相同逻辑键的相关事件的流，并且这些流正在连接（使用该键进行逻辑连接），并且所有这些流都以并行方式运行

这是一个关于医院患者流的虚构示例——温度流和心跳流。我们希望使用ConnectedStream和CoFlatMapFunction通过患者的id加入这两个流。

DataStream<PatientTemperature> temperatureStream = ..
DataStream<HeartbeatStream> heartbeatStream = ..

temperatureStream
   .keyBy(pt -> pt.getPatientId())
   .connect (heartBeatStream.keyBy(hbt -> hbt.getPatientId() )
   .flatMap (new RichCoFlatMapFunction() {

         ValueState<PatientTemperatureAndHeartBeat> state = ...

         public void flatMap1(PatientTemperature value, Collector<PatientTemperatureAndHeartBeat> out) {
                state.value().setTemperature(value);  
         }

      public void flatMap2(PatentHeartbeat value, Collector<PatientTemperatureAndHeartBeat> out) {

               PatientTemperatureAndHeartBeat temperatureAndHeartBeat = state.value()
               temperatureAndHeartBeat.setHeartBeat(value)
               out.collect(temperatureAndHeartBeat);

      }

      });

假设它以并行度=3运行，操作员任务A、B、C，并且它们都在不同的物理机器中运行。

Flink将保证患者“JohnDoe”的所有温度事件都将在同一个并行操作符实例中结束。假设它在操作符B中结束。

但是当Flink接收到“JohnDoe”的HeartBeat事件时，它如何知道将它们发送到操作员B，在那里发送患者的温度事件。除非温度和HeartBeat事件都发送到同一个并行实例运算符，否则连接将不起作用。

两个流都使用相同的逻辑密钥（即患者的id）这一事实是特定于应用程序的，Flink不知道。这两个连接的流可能使用彼此无关的自己的密钥。

Answer 1

当然，键的选择是特定于应用程序的。但是，Flink知道如何访问这些键，因为您提供了键选择器功能（pt-

因此，两个流的相同值被传送到同一个操作符实例。