理解Kafka Streams中处理器实现中的事务

Question

在使用Kafka Streams的处理器API时，我使用了如下内容：

context.forward(key,value)
context.commit()

实际上，我在这里做的是每分钟从状态存储发送一个状态到下沉（在init（）方法中使用context.schedule（））。我不明白的是：

我向前发送的[Key，Value]对，然后执行commit（），从状态存储中获取。它是根据我的特定逻辑从许多非连续输入[键，值]对中聚合的。每个这样的输出[键，值]对都是来自输入的几个非有序[键，值]对的聚合（Kafka主题）。因此，我不理解Kafka cluster和Kafka Streams lib如何知道原始输入[键，值]对和正在发送的最终输出[键，值]之间的相关性。如果Kafka不知道输入对和输出对之间的连接，它如何被事务包装（故障安全）。当我做上下文时，实际上是在做什么。提交（）？

谢谢

Answer 1

详细解释这一切超出了我在这里可以写的答案。

基本上，如果提交了事务，则当前输入主题偏移量和对Kafka主题的所有写入都是原子化的。这意味着，所有挂起的写操作都会在提交完成之前刷新。

事务不需要了解您的实际业务逻辑。它们只是将输入主题上的进度跟踪与写入输出主题“同步”。

我建议阅读相应的博客帖子并观看一次关于Kafka的演讲，以了解更多细节：

• 博客：https://www.confluent.io/blog/exactly-once-semantics-are-possible-heres-how-apache-kafka-does-it/
• 博客：https://www.confluent.io/blog/enabling-exactly-kafka-streams/
• 说话：https://www.confluent.io/kafka-summit-nyc17/resource/#exactly-once-semantics_slide
• 说话：https://www.confluent.io/kafka-summit-sf17/resource/#Exactly-once-Stream-Processing-with-Kafka-Streams_slide

顺便说一句：这是一个关于Streams API中手动提交的问题。您应该考虑以下问题：如何使用Kafka流手动提交？