Kafka流控制流

Question

我有一个关于kafka流应用程序中的控制流的基本问题。如果有两个源主题

我做了一个非常初步的测试，当记录被消费时，我偷看了一下，然后用一个简单的速溶软件打印了它们被处理的瞬间。现在

KStream<String, String> akStream= builder.stream("A",
        Consumed.with(Serdes.String(), Serdes.String()).withOffsetResetPolicy(Topology.AutoOffsetReset.EARLIEST))
        .peek((s, string) -> System.out.println("Topic A at " + Instant.now() ));

KStream<String, String> bkStream= builder.stream("B",
        Consumed.with(Serdes.String(), Serdes.String()))
        .peek((s, string) -> System.out.println("Topic B " + Instant.now()));

这些是主题中记录的开始和结束时间戳

A : 2020-03-27 14:36:04 (epoch: 1585316164843) 2020-03-27 14:34:02 (epoch: 1585316042569)
B : 2020-03-30 11:04:17 (epoch: 1585559057167) 2020-03-17 14:44:38 (epoch: 1584452678527)

主题B记录在主题A之前提取。Sysout显示主题B中的所有记录。有人能帮助理解这一点吗？我希望在编写具有多个输入源的流式应用程序时使用这种理解。

提前感谢

Answer 1

看情况。一般来说，不能保证不同主题之间的处理顺序。但是有一个例外：如果一个任务处理来自不同主题的数据，那么记录将按时间戳顺序处理。然而，这是一种尽力而为的方法；从Kafka Streams 2.3开始，这些排序保证得到了改进，您可以使用max.task.idle.ms配置来影响它们。

Answer 2

按照您构建流的方式，每个流都是独立存在的，没有顺序保证。

关于根据时间戳处理记录。这只能在一个时间窗口内完成。例如，如果你有两个主题A和主题B，你可以加入它们，通过一个时间窗口，你可以安排活动。

<VO,VR> KStream<K,VR> join​(KStream<K,VO> otherStream,
                           ValueJoiner<? super V,? super VO,? extends VR> joiner,
                           JoinWindows windows)