在跨多个作业拆分Flink工作负载时，如何避免冗余IO和反序列化

Question

为了使Flink工作负载的部署和管理更容易，我们希望运行多个较小的作业，而不是一个完成所有工作的大型作业。我们面临的问题是，这些较小的作业中的每一个都必须读取和反序列化来自Kafka的相同输入数据。

我们已经进行了性能测试，结果表明，运行多个作业（每个作业都读取输入数据）比处理单个作业相同的数据需要更多的资源和更长的时间。

有没有一种方法可以读取一次输入数据，然后运行多个作业来只执行处理步骤，或者至少减少与运行多个作业相关的开销？

Answer 1

我认为你必须为此付出一些代价，但是通过一些小心，你应该能够将成本降至最低。

一些想法：

（1）使用具有良好性能的序列化程序，例如，原型。请看这篇博客文章末尾的图表。

（2） 对内容进行结构化，以便您可以利用reinterpretAsKeyedStream在重新生成以前设置了密钥的数据流时避免不必要的密钥。

（3）您可能还会发现使用Sink API传播水印很有趣，因为它与此主题相关。