Kafka消费群体

Question

我是Kafka的新手，正在学习Kafka内部知识。请根据需要随时更正我的理解。。

这是我的实时场景..感谢所有的回复:

1. 我有一个接收数据文件的实时FTP服务器…比如索赔文件。
2. 我将把这些数据发布到一个主题中.让我们把这个主题称为claims_topic（2个分区）.
3. 我需要订阅这个claims_topic，阅读消息并将它们写入Oracle和Postgres表。让我们将oracle表称为Otable，Postgres表称为Ptable。
4. 我需要捕获每个主题消息并将它们写入Otable和Ptable。基本上Otable和Ptable必须同步。

假设我将编写两个消费者，一个用于oracle，另一个用于postgres。

问题1：两个消费者应该在同一个消费者组中吗？我相信不会，因为这会导致一个消费者只从特定分区接收消息。

问题2:如果问题1是真的。那么请告诉我，在什么情况下，多个消费者被归入同一个消费者群体？实时场景非常受欢迎。

Answer 1

不，两个消费者都不想在同一个消费者群体中，因为他们需要分别使用所有主题数据并写入Otable和Ptable。

如果两个消费者都在一个消费者组中，则Otable在一个分区中获取数据，Ptable从其他分区获取数据。（因为您有2个分区）

在我看来，使用两个消费者和两个消费群体，然后如果你的话题有高流量，那么你可以分别为Otable和Ptable扩展消费者数量。

如果您需要两个消费者来编写Ptable，请对这两个消费者使用相同的组id。那么消费者流量将与许多消费者共享。(在您的例子中，一个组的最大消费者数量应该是2，因为您的主题中只有2个分区)。如果Otable需要这个，请遵循相同的场景。

Answer 2

消费者组是一个逻辑名称，它将一个应用程序的消费者组合在一起，他们共同努力完成主题内的数据处理，每个分区只能由消费者组的一个消费者处理，使分区计数成为一个主题并行消耗/处理能力的最大限制。消费者组中的每个消费者都在处理一个或多个分区，如果你有一个有许多分区的主题消费者，它将自己处理所有分区，如果你将更多的消费者添加到同一个消费者组中，他们将在其中划分/“重新平衡”主题分区，希望它能清理事情

设置使用者时，请配置其组 ID，这就是使用者组，具有相同组 ID 的两个单独的使用者将成为同一使用者组的成员

如果有高产量的情况下，一个消费者无法处理压力，您可以通过运行具有相同消费者组的更多消费者来扩展它，以共同处理主题，每个任务将在不同的分区上拥有所有权

对于您的用例，Postgres和Oracle的完全同步不容易实现，您可以使用kafka connect通过相关的sink连接器将数据从您的主题读取到您的目标，但是它们将“最终保持一致”,因为它们不共享原子事务

我将探索spring数据转换层

跨多个数据源的事务进行Spring@Transactional