分区间消息分布不均匀是否会对Kafka集群的性能产生不良影响？

Question

我正在设计高通量系统，在那里我将有几个生产者。

我的主题将被分割。生产者将发送记录作为键值对。

键将用于对数据进行分区。

消费者将被组织在消费者组中（他们将被分配相同的组id，以便他们可以同时使用来自同一主题但来自不同分区的消息）。

Kafka保证消息在单个分区中的顺序。

消费者将被分配公平份额的分区。

唯一让我担心的是，我的分区键不会以循环方式分发消息，有些分区可能比其他分区更忙。

问：不均匀的分区会以任何方式影响Kafka集群的性能吗？有危险信号吗？

我知道一些消费者将有更多的工作要做，但这不是我主要关心的。在此问题上的任何帮助都将不胜感激。

Answer 1

不均匀的分区会以任何方式影响Kafka集群的性能吗？

每个分区都有一个充当“领导者”的服务器和零个或多个充当“追随者”的服务器。领导者处理分区的所有读写请求，而追随者被动地复制领导者。因此，如果您的生产者将大部分消息发送到一个分区，则会给该分区的领导者带来大量工作。如果是消息泛洪到一个分区，它会延迟写入，减慢节点。

有危险信号吗？

引述如下：

Kafka在服务器和客户端中使用Yammer指标进行指标报告。这可以配置为使用可插拔统计报告器报告统计数据，以连接到您的监控系统。查看可用度量的最简单方法是启动j控制台，并将其指向运行中的kafka客户端或服务器；这将允许使用JMX浏览所有度量。

也许有一些指标可以反映这个减速问题。：

请求在请求队列中等待的时间

在主管处处理请求的时间

请求等待跟随者的时间

请求在响应队列中等待的时间

Answer 2

对于前面的好答案，我想补充一点，就是复制因素也会对您的用例产生影响。

繁忙分区的跟随节点可以是其他分区的引导节点，因此除了从繁忙分区复制大量消息外，它们还必须为其引导分区处理来自生产者的传入消息。因此，即使是这些节点也会非常繁忙，无法处理繁重的负载。