Kafka不会均匀地填充主题中的分区

Question

我想有一个主题与10个分区。我使用的是Kafka的默认配置。我用帮助器脚本创建了一个有10个解析的主题，现在我将为它生成消息。

问题是，消费者似乎只有5个分区可以从中获取数据。

让我们更详细地描述一下。

我知道每个分区需要一个使用者线程。我希望能够提交每个分区的偏移量，这是可能的，只有当我有一个线程每个消费连接器每个分区（我是使用高级消费）。

topicCountMap.put("mytopic", 1);

当我这样做10次时，我有10个消费者，每个分区每个线程的消费者，我可以在每个分区独立提交偏移量，因为如果我在主题映射中放置不同的数字，我将为该主题提交超过1个消费者线程，所以如果我要用创建的消费者实例提交偏移量，它将为所有线程提交这些偏移量，这是不希望的，因此为多个分区提交这些偏移量是不希望的。

但问题是，当我使用消费者时，只有5个消费者参与，似乎其他线程是空闲的，但我不知道为什么。

第一个可能的原因是，即使我有10个分区，只有5个分区有消息，所以其他5个消费者是空闲的，但我不明白为什么当我使用生产者时，消息不能均匀地分布在所有分区上。我发送了1M的信息，所以如果说它们是均匀分布的，每个家庭都必须至少有一些信息在里面。

//编辑

我设法在一个主题中创建了10个分区，但只有7个使用者。那对我来说只是个奇迹。

问题是，我正在循环中创建这些消费者线程。所以我启动第一个线程（提交到executor服务），然后是另一个，然后是另一个等等。

这样的场景是，第一个使用者得到所有10个分区，然后第二个连接，所以这两个之间的分裂为5和5（或类似的东西），然后其他线程连接。

我将此理解为所有使用者之间的分区重新平衡，因此它在这样的意义上表现良好，即如果创建了更多的使用者，那么这些使用者之间就会发生分区平衡，因此每个使用者都应该有一些分区可操作。

但是从结果中我看到只有7个消费者，根据所消费的消息，他们似乎被分成了3,2,1,1,1,1,1分区。是的，这7个消费者涵盖了所有10个分区，但为什么超过1个分区的消费者不进行分割，而将分区交给其余3个消费者呢？

Answer 1

当我在通过管理脚本创建主题之前（意外地）以编程方式访问主题时，我也看到过类似的行为。在这种情况下，分区数以及其他主题配置设置默认为broker.config中的值