当生产者数量超过分区数时，Kafka默认的分区器行为

Question

来自Kafka常见问题页面

在Kafka生产者中，可以指定分区键来指示消息的目标分区。默认情况下，基于散列的分区器用于确定给定键的分区id

因此，具有特定密钥的所有消息将始终转到主题中的同一分区：

1. 消费者如何知道生产者写入了哪个分区，从而可以直接从该分区进行消费
2. 如果生产者多于分区，并且多个生产者正在写入同一分区，那么偏移量是如何排序的，以便消费者可以使用来自特定生产者的消息

Answer 1

Kafka是分布式事件流，它的一个用例是将服务从生产者分离到消费者，生产者生成/一个应用程序消息到主题，消费者/另一个应用程序读取主题，

如果您有多个生产者，生产者之间不能保证数据在Kafka/主题/分区中的顺序，而是写入主题的消息的顺序（即使只有一个生产者，也可能存在排序问题，请阅读关于幂等生产者的文章）

偏移量是原子操作，它将promise没有两条消息会得到相同的偏移量。

偏移量是运行编号，它仅在特定主题和特定分区中有意义

如果使用默认的分区器，这意味着您正在使用murmur2算法来决定向哪个分区发送消息，同时向kafka发送包含密钥的记录，生产者中的分区器运行哈希函数返回一个值，该值是该键将被发送到的分区的数量，这是相同的murmur2函数，因此对于相同的键，使用不同的生产者，您将继续获得相同的分区值

使用者被分配/订阅来处理主题/分区，它不知道哪个密钥被发送到每个分区，在使用者组中有一个赋值函数来决定哪个使用者将处理哪个分区

Answer 2

消费者如何知道生产者写入了哪个分区

不需要，或者至少不应该，因为这将在客户端之间创建紧密耦合。所有使用者实例都应负责处理订阅主题的所有消息。虽然您可以将消费者分配给TopicPartition实例列表，并且您可以为给定的键调用DefaultPartitioner的方法来找出它将转到哪个分区，但我个人并不需要这样做。另外，请记住，生产者可以完全控制分区器。类设置，并且不需要将此设置告知消费者。

如果有多个生产者而不是分区，并且多个生产者正在写入同一分区，那么偏移量是如何排序的。。。

生产者或分区的数量并不重要。批次是按顺序写入分区的。您可以使用max.in.flight.requests限制每个生产者客户端一次发送的批次数量（并且每个应用程序只需要一个实例），但是对于单独的应用程序，您当然无法控制任何排序

以便消费者可以消费来自特定生产者的消息？

同样，不应这样做。