Kafka-处理缓慢消费者的最佳实践。如何实现更多的并行性？

Question

我知道一个消费者组中活动消费者的最大数量是一个主题的分区数。

对于处理速度较慢的消费者，最佳做法是什么？如何实现更多的并行性？

例如：一个主题有6个分区，生产者每秒生成数千条消息。所以我在这个群体中最多有6个消费者。考虑到处理这些消息很复杂，而且消费者比生产者慢得多。结果是，消费者总是落后于最后一个补偿，而滞后正在增加。

在传统的MQ系统中，我们只需添加越来越多的使用者以保持最新。

如何使用Kafka实现这一点，因为组中消费者的总数最多是分区的数量？我应该：

• 是否将主题配置为具有更多分区，以允许每个组有更多使用者

这种情况下的最佳做法是什么？

Answer 1

在Kafka中，分区是并行的单位。

如果不知道我们确切的用例和需求，很难提出精确的建议，但有几个选项。

首先，您应该真正考虑拥有更多的分区。6个分区相对较小，您可以轻松拥有60个、120个甚至更多的分区（以及相应的使用者数量）。突然之间，每个消费者必须做的工作量大大减少了。

此外，如果您的需求允许，您还可以快速消费，并将记录处理分散到许多工作人员。在这样的解决方案中，很难维持秩序，但如果您不需要它，那么您可以考虑它。

我不确定通过MQ队列路由消息在这种情况下是否真的有帮助。如果您仍然读取速度比写入速度慢，队列中的数据量将增长，直到您没有剩余的磁盘空间。

Kafka更好地被设计为生产者和消费者之间的缓冲区，因此只需确保您对主题有保留限制，以便在不丢失数据的情况下为消费者提供一定的灵活性。