Flink kafka - Flink 作业未向不同分区发送消息

Question

我有以下配置：

1. 一个具有 2 个分区的 kafka 主题
2. 一个动物园管理员实例
3. 一个 kafka 实例
4. 具有相同组 ID 的两个使用者

Flink 作业片段：

speStream.addSink(new FlinkKafkaProducer011(kafkaTopicName,new 
SimpleStringSchema(), props));

方案 1：

我在eclipse上写了一个flink job (Producer ),它从一个文件夹中读取一个文件，并在kafka主题上放置msgs。

所以当我使用eclipse运行这段代码时，它工作得很好。

例如：如果我放置一个有100条记录的文件，flink会向分区1发送一些msgs

场景2：当我创建上面代码的jar并在flink服务器上运行它时，flink将所有MSG发送到单个分区，因此只有一个使用者获得所有MSG。

我希望场景1使用场景2中创建的jar。

Answer 1

如果您没有提供FlinkKafkaPartitioner或没有明确说明要使用Kafka的分区器，则将使用FlinkFixedPartitioner，这意味着来自一个任务的所有事件都将在同一分区中结束。

要使用Kafka的分区器，请使用此分区器：

speStream.addSink(new FlinkKafkaProducer011(kafkaTopicName,new SimpleStringSchema(), props), Optional.empty());

从IDE和eclipse运行之间的差异可能是因为Flink中并行性或分区的不同设置。

Answer 2

对于Flink-Kafka生成器，添加“null”作为最后一个参数。

speStream.addSink(new FlinkKafkaProducer011(
    kafkaTopicName,
    new SimpleStringSchema(),
    props,
    (FlinkKafkaPartitioner) null)
);

对此的简短解释是，这会关闭Flink使用默认分区程序Flink Fixed分区程序。作为默认值关闭这将允许Kafka在其认为合适的分区之间分发数据。如果未关闭此功能，则用于使用Flink KafkaProducer的接收器的每个并行性/任务槽将只写入每个并行性/任务槽中的一个分区。