如何使用带有特定分区器的Apache Flink将数据作为键/值发送给Kafka

Question

我在Flink有一个载荷，如下所示；

{
    "memberId": 4
    "total": 5
}

我想用指定的分区器将数据作为键值格式发送给kafka。对于分区器，我将使用模分区器。

模分配器示例；

分区ID=值%num分区

让我们假设参数为3。如果我们可以使用上面定义的有效负载的memberId，那么partitionId应该是4%3

根据上面的分区器，我想将具有相同分区ID的数据发送到相同的Kafka主题。另一个例子；

如果（假设num分区=3）；

memberId: 3 => (3 % 3) => partitionId = 0 => kafka partition 1
memberId: 8 => (8 % 3) => partitionId = 2 => kafka partition 2
memberId: 2 => (2 % 3) => partitionId = 2 => kafka partition 2
memberId: 6 => (6 % 3) => partitionId = 0 => kafka partition 1
memberId: 7 => (7 % 3) => partitionId = 1 => kafka partition 2

如果我没说错的话，如果我们不能指定任何键和分区函数，FlinkKafka制作人就会使用FlinkFixedPartitioner。如果我们将配分函数设置为null，flink kafka生产者将使用循环分布。但我不知道如何将数据作为键/值格式发送给kafka，如何按模对其进行分区。我如何才能做到这一点？

Answer 1

如果使用Kafka序列化模式，则可以创建Kafka生产记录，并设置Kafka键（和值）。您还可以在生产记录中设置分区。