如何根据user\u id对Kafka中的主题进行分区？

Question

我正在使用SpringBoot构建一个Web应用程序后端，我必须使用Kafka发送消息。我想有一个主题，例如“testTopic”，我想在那里生成一些来自不同用户的消息，以便稍后将消息发送到不同的机器。

如果用户A向其机器发送消息，而用户B向其机器发送消息。我如何区分谁发送了哪条消息以及该消息应该到达哪台机器？

我读过关于Kafka主题划分的文章，但我不知道我在代码中是否做得很好。

我在这里建立我的话题

    @Bean
public NewTopic kafkaExampleTopic() {
    return TopicBuilder.name("TestTopic").partitions(1).build();
}

在这里，我将数据发送到该主题

    @Bean
CommandLineRunner commandLineRunner(KafkaTemplate<String, String> kafkaTemplate) {
    return args -> {
        kafkaTemplate.send("TestTopic", String.valueOf(MessageBuilder.withPayload("Hello kafka testTopic uno con key 1")
                .setHeader(KafkaHeaders.MESSAGE_KEY, "1").build()));
        kafkaTemplate.send("TestTopic", String.valueOf(MessageBuilder.withPayload("Hello kafka testTopic uno con key 2")
                .setHeader(KafkaHeaders.MESSAGE_KEY, "2").build()));
    };
}

这是我的听众

    @KafkaListener(topics = "TestTopic", groupId = "exampleGroupId")
public void listenWithHeaders(
        @Payload String message,
        @Header(KafkaHeaders.RECEIVED_PARTITION_ID) int partition) {
    System.out.println(
            "Received Message: " + message
                    + "from partition: " + partition);
}

非常感谢你们！

Answer 1

主题划分需要提前决定。

例如，如果您有数字ID，您可以定义一个有十个分区的主题，然后创建自己的分区器类，该类将根据每个数字的前导数字将每个数字路由到分区中（ID 1、10、15等都转到分区1）。如果使用十六进制值（如UUID），则可能是一个具有16个分区（a-f，0-9）的主题。字母数字小写-36，以此类推。

默认情况下，Kafka的默认分区将按主题分区的数量执行Murmur2哈希模d。这样，例如，id 5和7可能最终在同一个分区中。根据您的消费者的需求，这可能不是您想要的。

消费者是在不同机器上运行的人。分区应该无关紧要，除非知道不能为同一组的使用者分配相同的分区（如果只有一个分区，则每个组只有一个使用者可以读取）。