根据Kafka分区的数量动态调整消费者线程的数量

Question

我有一个Kafka主题，有50个分区
My Spring Boot应用程序使用Spring Kafka通过@KafkaListener读取这些消息

Kubernetes中应用程序自动缩放的实例数。

默认情况下，Spring Kafka似乎每个主题启动1个消费者线程。

org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1

因此，对于应用程序的唯一实例，一个线程正在读取50个分区。
对于2个实例，有一个负载平衡，每个实例侦听25个分区。每个实例仍然有1个线程。

我知道我可以使用@KafkaListener上的concurrency参数来设置线程数
但这是一个固定值。

有没有办法告诉Spring动态调整消费者线程的数量以适应客户端当前正在侦听的分区数量？

Answer 1

我认为可能有更好的方法来解决这个问题。

通过负载/性能测试，您应该计算出应用程序的一个实例可以并行处理多少记录/分区。

假设一个实例可以以最佳方式并行处理10个线程/记录。现在，如果您将应用程序扩展到50个实例，在您的方法中，每个实例将得到一个分区，每个实例的性能将低于其容量，从而浪费资源。

现在考虑相反的情况 - 只剩下一个实例，它会生成 50 个线程以并行从所有分区使用。该应用程序的性能将分别下降，可能会变得无响应甚至崩溃。

因此，在这个hypotethical场景中，您可能想要做的是，例如，从一个或两个处理所有分区的实例开始，每个实例有10个线程，如果有消费者延迟，让它扩展到最多5个实例，以便每个分区有一个专用线程处理它。

同样，实际数字应通过负载/性能测试确定。