用flink读多个经纪人kafka

Question

Topic:myTopic   PartitionCount:3    ReplicationFactor:1 Configs:
Topic: myTopic  Partition: 0    Leader: 2   Replicas: 2 Isr: 2
Topic: myTopic  Partition: 1    Leader: 0   Replicas: 0 Isr: 0
Topic: myTopic  Partition: 2    Leader: 1   Replicas: 1 Isr: 1

在Flink中，我执行以下代码：

Properties properties = new Properties();
properties.setProperty("bootstrap.servers", "x.x.x.x:9092,x.x.x.x:9092,x.x.x.x:9092");
properties.setProperty("group.id", "flink");

DataStream<T> stream = env.addSource(new FlinkKafkaConsumer09<>("myTopic", new SimpleStringSchema(), properties)
stream.map(....)
env.execute()

我推出3次同样的工作。

如果我用一个代理执行这段代码，它工作得很好，但是用3个broke（在3个不同的机器上）只读取一个分区。

null

Answer 1

你似乎误解了Kafka的分布式流的概念。

Kafka主题由几个分区组成（在本例中为3个）。每个使用者可以使用这些分区中的一个或多个。如果您使用相同的group.id启动应用程序的3个实例，每个使用者实际上只从一个代理读取数据--它试图平均分配负载，因此每个使用者只有一个分区。

我建议阅读更多关于这个主题的内容，特别是关于Kafka文档中消费者群体的概念。

DataStream<T> stream =
      env.addSource(new FlinkKafkaConsumer09<>("myTopic", new SimpleStringSchema(), properties))
              .setParallelism(3);