联合数据流以不同频率更新后，Flink消费者滞后

Question

我们使用Flink 1.2.1，我们通过联合一个流到另一个流来从2个kafka流中消费，并处理联合流。例如stream1.union（stream 2）但是，stream 2的体积是stream 1的100多倍，我们正在经历的是stream 2有巨大的消耗滞后（超过3天的数据），但stream 1的滞后很少。我们已经有9个分区，但1个作为Parallelism，会增加paralelism解决stream 2的消耗滞后，或者我们根本不应该在这种情况下进行联合。

Answer 1

是的，尝试增加stream 2源代码的并行性-它应该有所帮助：env.addSource（kafkaStream2消费者）. setParallelism（9）

目前您有一个1核的瓶颈，需要跟上消耗stream 2数据的速度。为了充分利用Kafka的并行性，Flink Kafka消费者并行性应该是

Answer 2

. Union（）不应该导致时滞，AFAIK。

是的，如果处理过程中的延迟实际上是由于使用的操作符（或接收器）受到CPU限制，那么增加并行性应该会有所帮助。

如果问题是接收器端的某些东西无法通过更高的并行性来解决（例如，您正在写入数据库，并且它处于最大摄取速率），那么当然，增加接收器并行性也无济于事。