在生成数据时，闪烁并行性和kafka分区之间有什么关系？

Question

我有一个关于将数据放入Kafka主题的流作业，另一个流作业使用Kafka主题中的数据。我的Kafka群集的分区号配置为3。

当我将作业的并行性设置为4时，只有3个插槽忙于生成数据，只有3个使用者子任务获取了数据。

考虑到任务槽数量的限制，我想将并行性更改为1。但是，当我将作业的并行性设置为1时，只有1个使用者任务槽获得了数据。

在我看来，即使我将并行度设置为1，我仍然将数据放入3个分区，并且可以有3个消费子任务使用数据。

为什么只有一个消费者子任务在这里工作？

Answer 1

每个Kafka分区只能由一个FlinkKafkaConsumer子任务使用，但FlinkKafkaConsumer可以从一个或多个分区使用。给定一个有3个分区的主题，最多可以为3个FlinkKafkaConsumers分配工作。

Flink任务槽最多只能有一个作业中每个任务的实例。插槽数等于最大可用并行度。

类似地，Kafka分区的数量设置了最大可实现并行性的上限。

当并行度设置为1时，将只使用一个插槽，该插槽只能有一个FlinkKafkaConsumer（和一个FlinkKafKapProducer）。但一个消费者可以处理所有3个分区。如果并行度设置为3，那么3个使用者可能很忙，每个使用者在自己的插槽中处理一个分区。当并行度设置为4时，一个插槽将处于空闲状态。

在接收器中，默认情况下FlinkKafkaProducer的每个实例将以循环方式写入每个分区。如果希望控制每条记录写入哪个分区，可以提供一个自定义的FlinkKafkaPartitioner，或者可以使用KafkaSerializationSchema并为每条生产记录指定分区。