是否可以将分区添加到Kafka 0.8.2中的现有主题

Question

我有一个带有2个分区的Kafka集群。我一直在寻找一种将分区数增加到3的方法。但是，我不想丢失该主题中的现有消息。我尝试停止Kafka，修改server.properties文件以将分区数增加到3，然后重新启动Kafka。但是，这似乎并没有改变任何东西。使用Kafka
ConsumerOffsetChecker，我仍然看到它仅使用2个分区。我正在使用的Kafka版本是0.8.2.2。在0.8.1版中，曾经有一个名为的脚本kafka- add- partitions.sh，我想可能可以解决问题。但是，我在0.8.2中看不到任何这样的脚本。有什么办法可以做到这一点？我确实尝试过创建一个全新的主题，为此，它似乎确实根据server.properties文件中的更改使用了3个分区。但是，对于现有主题，似乎并不在乎。

Answer 1

看来您可以改用以下脚本：

bin/kafka-topics.sh --zookeeper zk_host:port/chroot --alter --topic my_topic_name 
   --partitions 40

在代码中，看起来他们在做同样的事情：

 AdminUtils.createOrUpdateTopicPartitionAssignmentPathInZK(topic, partitionReplicaList, zkClient, true)

kafka- topics.sh执行这段代码以及kafka-
add-
partition脚本使用的AddPartitionsCommand。

但是，使用密钥时，您必须注意重新分区：

请注意，分区的一种用例是在语义上对数据进行分区， 添加分区不会更改现有数据的分区，
因此如果消费者依赖该分区，这可能会打扰消费者。就是说，如果对数据进行了分区，hash(key) % number_of_partitions则该分区可能会通过添加分区而被打乱，但是Kafka不会尝试以任何方式自动重新分配数据。