kafka以异步方式处理如何使状态存储中的条目过期的问题

Question

我有一个kafka streams拓扑，它从输入主题中读取更新某些状态，并确定状态条目是否需要保留在状态存储中，或者可以删除。如果可以删除，它将被删除，否则我有一个标点器，每10秒运行一次，并使状态存储中的项目过期。

我最近发现标点符号在同一个流线程上运行，并且可能会阻塞流的处理。

我可以使用哪些模式在单独的线程池中执行标点符号内部的逻辑以避免阻塞流处理？

谢谢你的帮助。

Answer 1

马蒂亚斯·萨克斯已经说过，到目前为止，这在国有商店是不可能的，所以当他在合流公司工作时，我相信这是最新的消息。

然而，我们在本例中使用的是KStream KTable连接，而不是状态存储。我不确定，如果这对你的情况是可能的，但让我解释一下，我们所做的，也许对你也有一些用处：

我们有两个主题A和B，主题A被KStream使用。主题B与KTable一起使用。我们转换KTable数据，这样我们就可以在主题A的KStream上加入它。我们加入它，执行我们的操作，并通过使用map和through将null值写入主题B，从而从主题B中“删除”数据。因此，当我们在主题A中获得另一条记录时，我们的KTable中不再有可加入的值（这正是我们想要的）。

我希望它能有所帮助。