Kafka Streams：标点符号或函数中生成的消息的一次语义

Question

我想使用Kafka流处理器应用编程接口，并在预定的标点符号函数中每分钟生成一些消息。Kafka流能保证这些消息恰好一次写入输出主题吗？

我知道在Kafka Streams中可以进行一次处理，因为它通过以下操作生成一个事务：

1. 提交输入主题的偏移量

这个概念是否扩展到处理器API中的标点符号或函数，对于这些标点符号或函数，没有需要提交的关联输入消息？

例如，此标点器函数迭代键值状态存储中的项。每个商品都会从商店中删除并转发到下游：

override def punctuate(timestamp: Long) : Unit =
  store.all.asScala.foreach { keyValue =>
      store.delete(keyValue.key)
      context.forward(keyValue.key, keyValue.value)
  }

存储区中的每条消息都应该在输出主题上出现一次，即使在处理器出现故障并重新启动的情况下也是如此。

假设存储是持久的；它有一个Kafka变化日志主题的支持。标点器每分钟都安排在墙上的时钟时间。我已经配置了处理。保证=在我的配置中只_一次。

Answer 1

如果你使用标点符号，语义也只适用一次。

在后台，使用状态存储就要写入changelog主题（甚至删除——使用一些键和nullvalue编写消息）

在您的用例中，Kafka Streams将从某个输入主题读取消息，并写入输出主题和某个变更日志主题（状态存储上的操作）。

如果您在Kafka Streams中只启用一次，它将在事务模式下工作。使用事务-原子多分区写入-Kafka Streams确保，当执行偏移提交时，结果被写入输出主题，状态存储也被Flink到代理上的更改日志主题。上述操作是原子的，所以如果其中一个失败，应用程序将从以前的偏移位置重新处理消息。所有这些都将工作，因为处理器::进程和Punctuator::标点符号（...）在特定分区的单个线程中执行。

更多详情请参见：

>

王国章的博客文章在合流页面：https://www.confluent.io/blog/enabling-exactly-kafka-streams-有一节：<代码>Kafka流如何保证精确一次处理 。