当前位置: 首页 > 知识库问答 >
问题:

kafka streams中全局状态存储的分区数

云俊名
2023-03-14

在kafka中的全局状态存储是否总是一个分区,或者我们可以为全局状态存储更改日志主题设置多个分区?

我找不到任何关于这方面的明确文件

共有2个答案

文凯康
2023-03-14

它不止一个。我认为分区数是任何输入主题拥有的最大分区数(但我不太确定)。

贺经纶
2023-03-14

就像马蒂亚斯·J·萨克斯在这里写的:

全局存储是来自相应输入主题的数据的只读实例化视图

所以它不像标准的Kafka流变更日志主题。分区的数量取决于主题创建者和Kafka Broker的限制。

总结一下,它不必是一个分区,可以是更多分区。

 类似资料:
  • 全局状态存储与普通状态存储有何不同? 全局状态存储是否在不同机器上运行的所有实例中都有数据副本?由于全局状态存储不使用任何更改日志主题进行恢复,因此在重新启动时它的行为在我的场景中全局存储的源主题没有键。

  • 定义了一个自定义存储,用于自定义变压器(参考下面)。 https://github.com/apache/kafka/blob/trunk/streams/examples/src/main/java/org/apache/kafka/streams/examples/wordcount/WordCountProcessorDemo.java 我得到以下例外。不确定,为什么内部主题“test_01

  • 我创建自定义密钥并将数据存储在全局状态存储中,但在重新启动后,它将消失,因为全局存储在恢复时将直接从源主题中获取数据,并绕过处理器。 我的输入主题有上面的数据。 我维护以下两个状态存储: null 全局状态存储应该具有: 如何在全局状态存储中维护上述场景的还原案例

  • 我用状态存储构建了一个kafka流媒体应用程序。现在我正在尝试扩展这个应用程序。当在三个不同的服务器上运行应用程序时,Kafka会随机拆分分区和状态存储。 例如: Instance1获取:分区-0,分区-1 Instance2获取:partition-2,stateStore-repartition-0 Instance3获取:stateStore-重新分区-1,stateStore-重新分区-2

  • 我目前正在考虑将opengl状态存储为某种适当类型的全局thread_local变量。那个设计有多糟糕?有什么陷阱吗?

  • 问题内容: 广泛的讨论问题。是否已经有任何库可以让我在Java中存储应用程序的执行状态? 例如,我有一个处理文件的应用程序,现在该应用程序可能在某个时刻被迫关闭。我想存储所有已处理文件和未处理文件的信息,以及处理正在进行的阶段正在进行的流程。 是否已经有抽象此功能的库,或者我将不得不从头开始实现它? 问题答案: 似乎您正在寻找的是可以使用Java Serialization API 执行的序列化。