kafka主题和微服务的多个实例

Question

这更多的是一个系统设计问题。

让我们假设我有一个微服务体系结构，我有X个服务B实例（用于负载平衡对服务的HTTP请求）。但是，服务B也是Kafka主题的消费者。如何避免将同一消息处理X次（X是服务B的实例数）<如果处理是幂等的，至少一次就可以了。它不需要是一次，但不能是X次。

服务A可以是订单服务。它生成关于用户向订单主题下单的消息。

服务B可以是支付服务。它使用订单主题中的消息向用户收费。

支付订单可能是幂等操作。但是，如果我有10个支付服务实例，我不想浪费CPU和IO来做10次事情。

即使分区是答案，但如果我们有比分区更多的特定微服务实例，该怎么办？

Answer 1

根据问题，

即使您有多个服务实例，也不需要担心对同一消息的重新处理。因为Kafka在消费者偏移量上工作，所以如果您阅读了该消息，我们将提交该消息的偏移量，以便该消息不可用于该消费者（组）。

举个例子,，

订购服务发布有关订购主题的消息，支付服务订阅了该消息。我们有10个支付服务实例。在这种情况下，让我们考虑支付服务实例1所消耗的消息1 GET（如果不显式地定义它，它属于默认的用户组）。消费消息1后，支付服务实例1提交该消息的偏移量（在消费者组级别），并将其视为消息已成功处理。因此，支付服务实例2/任何其他实例将只拾取偏移为未提交的消息。

根据@Madhu的回答，这是为了更快地并行处理消息。如果你有10个支付服务实例，并且想要快速访问和处理消息，那么你可以在消费者组下添加更多的消费者（但是需要考虑订单主题的分区计数，因为如果订单主题有4个分区，我们定义了5个消费者，那么1个消费者总是处于空闲状态，除非任何其他消费者下降）。

Answer 2

Kafka消费集团

当您拥有一个服务的x实例，并且您希望该服务只使用一次消息时，Kafka的消费群体概念会考虑这一点。

本质上，您需要为您的服务实例指定一个公共kafka使用者组ID，然后kafka将负责将主题的分区分配给服务的不同使用者实例，这样您的服务就不会两次使用任何消息。

您正在使用的Kafka消费者库中的Kafka消费者配置中会有消费者组ID的配置。您只需要确保为单个服务实例集分配了与该配置相同的使用者组ID值。

举例说明

如果您的服务有10个实例，您可以为所有10个实例指定一个通用的kafka消费者组ID，例如serviceB消费者组。当从具有10个分区的kafka主题开始消费时，kafka负责将该主题的分区分配给消费者组serviceBatierGroup的所有实例。所以本质上，它会将每个分区分配给每个实例（当有10个服务实例和10个主题分区时）。如果有5个服务实例和10个kafka主题分区，Kafka将为每个实例分配2个分区供使用。

有关Kafka消费群体的一些参考资料：

• Kafka：权威指南