Kafka主题与分区

Question

简单问题：

假设我有一个具有3个分区的主题：Topic：StateEvents P1、P2和P3。

让我们假设生产者生成20条消息：

1, 2, 3, ..........20

我的问题是:

当制作人生成这些消息时：

1）每个消息将只在且仅在1个分区？也就是说，1在P1,2在P2,3在P3，然后4在P1,5在P2,6在P3，以此类推？

2）如果#1为真，当消费者订阅时，它将订阅所有分区，以便获得所有消息？

谢谢

Answer 1

每个消息将只发送到一个分区

如果key不为null，则根据配置中实现的分区方法实现分区ID计算。这是源代码

class DefaultPartitioner(props: VerifiableProperties = null) extends Partitioner {
  private val random = new java.util.Random

  def partition(key: Any, numPartitions: Int): Int = {
    Utils.abs(key.hashCode) % numPartitions
  }
}

为了确保相同类型的消息顺序性（FIFO），分区只能由同一组的一个使用者使用，不同组的使用者可以绑定同一分区以重复使用。但是消费者可以使用多个分区。

Answer 2

1）目标分区由生产者确定。使用默认分区算法（可以自定义），目标分区为：哈希（消息密钥）%num_partitions。这意味着具有相同键的所有消息都进入同一个分区。因此，如果您正在使用一个键，并且所有消息都具有相同的键，那么它们将进入同一个分区。如果未指定键，则使用循环。在任何情况下，消息总是只发送到一个分区。

2） 如果使用者是使用者组中唯一的使用者，则它将获得所有分区。您可以在同一消费者组中添加更多消费者以共享负载（在您的情况下，最多可以添加3个消费者，这是您在主题中拥有的分区数，因此一个消费者可以获得一个分区）。

让不同的消费者从不同的分区获取消息是Kafka如何很好地扩展的方式。这不是缺点，因为你必须考虑消费应用程序（由多个消费者制作）。应用程序标识符可以是其所有消费者使用的group id：应用程序从主题获取所有消息，但负载分散在其消费者之间。

Answer 3

>

当单个消费者订阅kafka主题（具有多个分区）时，它将从所有分区读取消息。但是如果使用相同的消费者group.id运行多个消费者，每个消费者将从不同的分区读取。

比方说，一个Kafka主题有3个分区，你有3个消费者有相同的group.id.每个消费者将从1-1个分区读取。但是如果只有一个消费者，它将从所有3个分区读取。