过滤Kafka事件并稍后处理

Question

我正在使用Kafka Streams API (KTable，GlobalKTable..).我在用KStreams消费Kafka主题。我需要根据一些配置过滤出一些传入的Kafka事件，并在配置发生变化时处理它们。主题的持续时间限制至少为7天。以下是要求:

键值状态

K1 V1加工

K2 V2 未处理（基于某些业务逻辑）

K3 V3 已处理

K4 V4加工

K1 V5加工 ------

现在我想再次处理消息(K2，V2)。我试着利用Ktables。但是，不能够成功。因为，我对这个概念比较陌生，不确定KStream、KTable是否能够满足这个要求。

Answer 1

看起来您遇到了一个问题，即某些消息在第一次遇到时无法“处理”，并且您希望稍后返回并处理它们。

想到解决这个问题的唯一方法是将这样的消息转发到另一个主题供以后处理，(这里< code>branch函数可能有些用处)，从而允许以线性方式继续处理主流。

您需要使用自定义处理器来处理延迟的主题，该主题可以选择Hibernate一段时间，或使用一些其他逻辑来确定何时处理消息。

但是，这种方法可能只适用于未处理的消息以后可以按最初遇到的相同顺序进行处理的情况。如果不是，则可能会遇到可处理消息位于延迟队列中不可处理消息后面的问题。您也许可以解决这个问题，因为超时，之后仍然无法处理的消息将回发到主题末尾。但这完全取决于您的用例。