ApacheFlink-将流平等地划分为输入Kafka主题

Question

我想在Apache Flink中实现以下场景：

给定一个具有4个分区的Kafka主题，我想使用不同的逻辑在Flink中独立处理分区内数据，具体取决于事件的类型。

特别是，假设输入Kafka主题包含前面图像中描述的事件。每个事件具有不同的结构:分区1具有字段“a”作为关键字，分区2具有字段“b”作为关键字，等等。在Flink中，我希望根据事件应用不同的业务逻辑，所以我认为我应该以某种方式分割流。为了实现图片中描述的内容，我想只使用一个消费者来做类似的事情(我不明白为什么我应该使用更多的消费者):

FlinkKafkaConsumer<..> consumer = ...
DataStream<..> stream = flinkEnv.addSource(consumer);

stream.keyBy("a").map(new AEventMapper()).addSink(...);
stream.keyBy("b").map(new BEventMapper()).addSink(...);
stream.keyBy("c").map(new CEventMapper()).addSink(...);
stream.keyBy("d").map(new DEventMapper()).addSink(...);

（a）正确吗？另外，如果我想并行处理每个Flink分区，因为我只对按顺序处理由同一个Kafka分区排序的事件感兴趣，而不是全局考虑它们，（b）我该怎么办？我知道方法setParallelism（）的存在，但我不知道在这种情况下将其应用在哪里。

我正在寻找关于标有（a）和（b）的问题的答案。提前谢谢你。

Answer 1

如果您能像这样构建它，它将执行得更好:

具体来说，我的建议是

> < li>

将整个作业的并行度设置为与Kafka分区的数量完全匹配。那么每个< code>FlinkKafkaConsumerhtml" target="_blank">实例将从一个分区中读取数据。

如果可能，避免使用< code>keyBy，并避免改变并行度。然后，源、映射和接收都将链接在一起(这称为操作符链接)，并且不需要序列化/反序列化和联网(在Flink中)。这不仅性能良好，而且您还可以利用细粒度恢复(令人尴尬的并行流式作业可以恢复一个失败的任务，而不会中断其他任务)。

您可以编写一个通用的事件映射器，用于检查正在处理的事件类型，然后执行适当的操作。或者，您可以尝试聪明地实现一个RichMapFunction，该功能在其open（）中找出正在处理的分区，并加载相应的映射器。