Kafka -在同一分区中存储不同密钥的消息

Question

我试图用不同的密钥将消息存储到不同的分区。

例如：

ProducerRecord<String, String> rec1 = new ProducerRecord<String, String>("topic", "key1", line);
ProducerRecord<String, String> rec2 = new ProducerRecord<String, String>("topic", "key2", line);
producer.send(rec1);
producer.send(rec2);

但是当我尝试运行我的Producer类时，它总是存储在单个分区中。

根据文档，DefaultPartitioner使用消息键哈希代码查找分区。我还看到这个问题Kafka分区键工作不正常‏, 但我在Kafka Client库的0.9.x版本中找不到＜code＞ByteArrayPartitioner＜/code＞类。

props.put("partitioner.class", "kafka.producer.ByteArrayPartitioner")

更新：我正在使用代码动态创建主题。

如果我手动创建一个带有分区的主题，那么它可以正常工作。

Answer 1

如果主题是“动态”创建的，则根据< code>num.partitions参数(默认值为< code>1)创建分区数。而且如果你只有一个分区，所有的数据都会到这个分区。

但是，请记住，即使您有多个分区，一个分区仍然可以分配不同的键！即使您有num-partitions = = num-distinct-keys，也可能存在哈希冲突，将两个不同的键分配给相同的分区(并使一些分区为空)。

如果您想确保不同的键总是指向不同的分区，则需要使用使用者分区器或直接指定分区号。