了解KStream-KTable联接的Kafka流中的max.task.idle.ms

Question

我需要帮助理解在Kafka2.2中使用max.task.idle.ms时的Kafka流行为。

我有一个KStream-KTable联接，其中KStream已被重新键入：

KStream stream1 = builder.stream("topic1", Consumed.with(myTimeExtractor));
KStream stream2 = builder.stream("topic2", Consumed.with(myTimeExtractor));

KTable table = stream1
       .groupByKey()
       .aggregate(myInitializer, myAggregator, Materialized.as("myStore"))

stream2.selectKey((k,v)->v)
       .through("rekeyedTopic")
       .join(table, myValueJoiner)
       .to("enrichedTopic");

所有主题都有10个分区，为了测试，我将max.task.idle.ms设置为2分钟。myTimeExtractor只有在消息被标记为“快照”时才更新消息的事件时间：stream1中的每个快照消息都将其事件时间设置为某个常数T，stream2中的消息将其事件时间设置为T+1。

我不明白为什么在enrichedTopic被填满之前会有2分钟的停顿，因为所有的东西早就“准备好了”。我错过了什么？

Answer 1

根据文件说明：

max.task.idle.ms-流任务在其分区缓冲区不全部包含记录时保持空闲的最长时间，以避免跨多个输入流处理记录时可能出现无序。

我想说，这可能是由于某些分区缓冲区不包含记录，所以它基本上是在等待，以避免无序处理，直到您为属性配置的定义时间为止。