KafkaStreams：源主题的任务数和正则表达式

Question

假设我们有一个KafkaStreams应用程序，它正在从customerA的两个源主题读取数据。订单和客户B。命令。每个主题有3个分区。

StreamsBuilder builder = new StreamsBuilder();
KStream stream1 = builder.stream("customerA.orders")
KStream stream2 = builder.stream("customerB.orders")
//Business logic which has stateless transformations.

当我运行这个应用程序时，会创建6个任务（因为每个主题有3个分区）：当前活动任务：[0_0，0_1，1_0，0_2，1_1，1_2]

由于两个主题名称都以". order"结尾，我可以使用regex从源主题读取数据，如下所示

StreamsBuilder builder = new StreamsBuilder();
KStream stream1 = builder.stream(Pattern.compile(".*orders"))

但当我使用正则表达式运行这个应用程序时，只创建了3个任务，而不是6个任务，尽管我们有两个主题，每个主题有3个分区：当前活动任务：[0_0，0_1，0_2]

streams应用程序正在从这两个主题获取消息。

为什么当我们使用regex作为源主题时，任务数量会减少？

Answer 1

1. 在第一个代码中，如果您不应用任何操作，比如join，或者在两个主题之间使用相同的状态存储（更准确地说，在两个kstream的太流DSL代码之间），它将创建两个子拓扑，这样您就可以为每个主题的分区创建单独的任务。所以这两个拓扑过程是并行的
2. 当您的应用程序将多个主题订阅到一个KStream中时，它将为具有相同分区号的输入主题的主题分区创建一个相同的任务，因此它是共同分区的（因此主题1的分区0和主题2的分区0被同一个任务占用），一个特定的任务一次只处理来自一个订阅分区-i的一条消息