当前位置: 首页 > 知识库问答 >
问题:

Kafka Streams-流线程开始处理之前的全局状态存储恢复

何禄
2023-03-14

我有全局状态存储附加了我的拓扑。全局状态存储在从压缩主题读取中。这个全局状态存储存储了100,000条记录,这些记录应该在状态存储中,以便正确处理拓扑。

问题:Q.在应用程序重启期间,kafka streams将启动全局状态存储线程,并确保在启动streams线程之前已完全构建状态?

我试图找到一些留档相关的这个主题请指出我的代码或留档也。

共有1个答案

鱼阳伯
2023-03-14

这取决于状态中是否还有任何状态。dir本地文件系统,用于应用程序。id

如果有,它将开始在那里重建数据。否则,必须消耗主题的开头来重新创建数据

 类似资料:
  • 我阅读了Kafka streams关于添加全局存储的用例,这个stackover流讨论,并了解了在恢复过程中全局状态存储跳过处理器。 但是我想要如何能够强制全局状态存储运行处理器在恢复过程中与处理器API。

  • 我正在使用kafka处理器API做一些自定义计算。由于某些复杂的处理,DSL并不是最佳的选择。流代码如下所示。 我需要清除一些项目从状态存储基于一个事件来在一个单独的主题。我无法找到正确的方法来使用Processor API连接另一个流,或者通过其他方法来侦听另一个主题中的事件,从而能够触发CustomProcessor类中的清理代码。有没有一种方法可以在处理器API中获取另一个主题中的事件?或者

  • 全局状态存储与普通状态存储有何不同? 全局状态存储是否在不同机器上运行的所有实例中都有数据副本?由于全局状态存储不使用任何更改日志主题进行恢复,因此在重新启动时它的行为在我的场景中全局存储的源主题没有键。

  • 本文向大家介绍IOS多线程开发之线程的状态,包括了IOS多线程开发之线程的状态的使用技巧和注意事项,需要的朋友参考一下 大家都知道,在开发过程中应该尽可能减少用户等待时间,让程序尽可能快的完成运算。可是无论是哪种语言开发的程序最终往往转换成汇编语言进而解释成机器码来执行。但是机器码是按顺序执行的,一个复杂的多步操作只能一步步按顺序逐个执行。改变这种状况可以从两个角度出发:对于单核处理器,可以将多个

  • 在kafka中的全局状态存储是否总是一个分区,或者我们可以为全局状态存储更改日志主题设置多个分区? 我找不到任何关于这方面的明确文件。

  • 我知道这里之前有人问过这个问题:Kafka流并发? 但这对我来说很奇怪。根据文档(或者我可能遗漏了什么),每个分区都有一个任务,这意味着不同的处理器实例,每个任务由不同的线程执行。但是当我测试它的时候,我看到不同的线程可以得到不同的处理器实例。因此,如果你想在处理器中保持内存状态(老式的方式),你必须锁定? 线程ID:88 ID:c667e669-9023-494b-9345-236777e9df