如何编写Kafka消费者-单线程与多线程

Question

我编写了一个Kafka消费者（使用Spring Kafka），它从单个主题读取并且是消费者组的一部分。一旦消息被消费，它将执行所有下游操作并继续下一个消息偏移量。我已将其打包为WAR文件，我的部署管道将其推送到单个实例。使用我的部署管道，我可能可以将此工件部署到我的部署池中的多个实例。

但是，当我希望多个消费者作为我的基础设施的一部分时，我无法理解以下内容-

>

实际上，我可以在部署池中定义多个实例，并在所有这些实例上运行这场战争。这意味着，他们都在听同一个话题，属于同一个消费者群体，并且实际上会在他们之间划分分区。下游逻辑将按原样工作。这对于我的用例来说非常好，但是，我不确定这是否是要遵循的最佳方法？

在网上阅读时，我在这里和这里遇到了一些资源，人们在这里定义了一个消费者线程，但在内部创建了多个工作线程。还有一些示例，我们可以定义多个执行下游逻辑的消费者线程。考虑这些方法并将它们映射到部署环境，我们可以获得相同的结果（正如我上面的理论解决方案所能做到的那样），但机器数量更少。

就个人而言，我认为我的解决方案简单、可扩展但可能不是最佳的，而第二种方法可能是最佳的，但想知道您的经验、建议或我应该考虑的任何其他指标/约束？此外，我正在考虑我的理论解决方案，我实际上可以使用简单的机器作为Kafka消费者。

虽然我知道，但我还没有发布任何代码，如果我需要将此问题转移到其他论坛，请告诉我。如果您需要特定的代码示例，我也可以提供它们，但在我的问题中，我认为它们并不重要。

Answer 1

如果你目前的方法有效，坚持下去。这是简单而优雅的方法。

如果由于某种原因无法增加分区的数量，但需要更高级别的并行性，则只能使用方法2。但是你需要担心的是订单和比赛条件。如果您需要这样做，我建议您使用akka stream kafka库，它提供了正确处理偏移提交的工具，可以并行执行您需要的操作，然后合并回一个流，保留原始顺序等。否则，这些操作很容易出错。

Answer 2

您现有的解决方案是最好的。转移到另一个线程将导致偏移管理问题。Spring kafka允许您在每个实例中运行多个线程，只要您有足够的分区。