Kafka流-指向同一主题的所有实例本地存储

Question

我们希望侦听特定的Kafka主题，并构建它的“历史”--所以对于指定的键，提取一些数据，将其添加到该键的现有列表中（如果不存在，则创建一个新的列表），并将其放到另一个主题中，该主题只有一个分区，并且高度压缩。另一个应用程序可以只听这个主题并更新它的历史列表。

我在想它如何适合Kafka流库。我们当然可以使用聚合：

msgReceived.map((key, word) -> new KeyValue<>(key, word))
           .groupBy((k,v) -> k, stringSerde, stringSerde)
           .aggregate(String::new,
                     (k, v, stockTransactionCollector) -> stockTransactionCollector + "|" + v,
                     stringSerde, "summaries2")
           .to(stringSerde, stringSerde, "transaction-summary50");

它创建一个由Kafka支持的本地存储，并将其用作历史表。

问题是，如果我只是为每个正在运行的实例设置相同的applicationId，那么它是否最终会重播来自同一个kafka主题的所有数据，即每个正在运行的实例具有相同的本地状态？

Answer 1

为什么要创建多个具有不同ID的应用程序来执行相同的工作？Kafka实现并行的方式是通过任务：

应用程序的处理器拓扑是通过将其分解为多个任务来扩展的。

更具体地说，Kafka Streams根据应用程序的输入流分区创建固定数量的任务，每个任务分配一个来自输入流的分区列表（即，Kafka主题）。分配给任务的分区永远不会改变，因此每个任务都是应用程序并行性的固定单元。