Spring语义学Kafka

Question

我需要在由以下组件组成的系统中应用事务：

1. Kafka生产者，这是一些外部应用程序，可以发布有关kafka主题的消息。
2. 一个Kafka消费者，这是一个Spring启动应用程序，我在其中配置了kafka侦听器，处理完消息后，需要将其保存到非关系型数据库中。

我看过好几个这样的博客

我没有看到任何明确的例子或博客来实现与我类似的用例中的事务性，即在单个原子事务中生成-处理-写入数据库。我相信这是非常常见的场景

有人能指导我如何做到这一点吗？任何相关的代码片段都将不胜感激。

Answer 1

我猜您正在尝试解决这样一种情况，即您的消费者在写入数据库之后，但在提交偏移量之前，或其他类似的问题。不幸的是，这意味着您必须构建自己的容错能力。

在我上面提到的问题的情况下，这意味着您必须管理最终输出数据库中的消费者偏移量，在您将消费者应用程序的输出写入的同一数据库事务中更新它们。

Answer 2

在单个原子事务中。

没有办法做到这一点；Kafka不支持XA事务（大多数NoSQL数据库也不支持）。您可以使用Spring的事务同步实现最大努力1PC。

请参阅文档。

Spring for Apache Kafka实现了正常的Spring事务同步。

它提供了“最大努力1PC”-请参阅Spring中的分布式事务，有XA和无XA以了解更多信息和限制。