kafka流实例上状态存储和分区的混合

Question

我用状态存储构建了一个kafka流媒体应用程序。现在我正在尝试扩展这个应用程序。当在三个不同的服务器上运行应用程序时，Kafka会随机拆分分区和状态存储。

例如：

Instance1获取：分区-0，分区-1

Instance2获取：partition-2，stateStore-repartition-0

Instance3获取：stateStore-重新分区-1，stateStore-重新分区-2

我想为每个实例分配一个stateStore和一个分区。我做错了什么？

我的KafkaStreams配置：

final Properties properties = new Properties();
properties.setProperty(StreamsConfig.APPLICATION_ID_CONFIG, "my-app");
properties.setProperty(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, BOOTSTRAP_SERVERS_CONFIG);

try {
     properties.setProperty(StreamsConfig.STATE_DIR_CONFIG,
           Files.createTempDirectory(stateStoreName).toAbsolutePath().toString());
} catch (final IOException e) {
         // use the default one
}

我的流是：

stream.groupByKey()
       .windowedBy(TimeWindows.of(timeWindowDuration))
       .<TradeStats>aggregate(
           () -> new TradeStats(),
           (k, v, tradestats) -> tradestats.add(v),
           Materialized.<String, TradeStats, WindowStore<Bytes, byte[]>>as(stateStoreName)
        .withValueSerde(new TradeStatsSerde()))
        .toStream();

Answer 1

据我目前所知（正如我对你的问题的评论中提到的，请分享你的状态存储定义），一切都很好，我怀疑你方对这个问题有一点误解

我做错了什么？

基本上，什么都没有。：-）

对于问题的分区部分：它们根据配置的html" target="_blank">赋值器分布在消费者周围（请参阅https://kafka.apache.org/26/javadoc/index.html?org/apache/kafka/clients/consumer/CooperativeStickyAssignor.html或相邻接口）。

对于您问题的状态存储部分：这里可能存在一些关于（内存中）状态存储如何工作的误解：它们通常由一个Kafka主题支持，该主题不位于应用程序主机上，而是位于Kafka集群本身。更准确地说，整个状态存储的一部分存在于每个应用程序主机上的（RocksDB）内存键/值存储中，正如您在问题中的状态存储分配中所示。然而，这些只是Kafka集群中维护的完整状态存储的一部分或一部分。

简而言之：一切都很好，让Kafka完成任务，只有在你有真正特殊的用例或很好的理由的情况下才干预Kafka还确保在应用程序主机中断的情况下正确冗余和重新平衡所有分区。

如果您仍然想自己分配一些东西，用例将有兴趣获得进一步的帮助。