Flink中的缓存位置

Question

我有一个数据流，其中包含一个键，我需要将其与与该键关联的数据进行混合和匹配。每个键都属于一个分区，每个分区都可以从数据库加载。

数据非常大，在一个任务管理器中，几十万个分区中只有几百个可以容纳。

我目前的方法是基于键使用partitionCustom。分区并将分区数据缓存在richmap函数中，以混合和匹配分区数据，而无需多次重新加载分区数据。

当同一分区上的消息速率过高时，我遇到了热点/性能瓶颈。

在这种情况下，我在Flink中有哪些工具可以提高吞吐量？

有没有办法根据机器上的设置时间和最大流转时长来定制调度和优化作业安排？

Answer 1

这听起来像（a）基于DB的数据也被分区了，（b）您的密钥有偏差，其中一个分区得到的密钥比其他分区多得多。

假设以上是正确的，并且您已经对您的“混合匹配”代码进行了代码分析，以使其具有合理的效率，那么您就剩下手动优化了。例如，如果您知道分区X中的键更常见，您可以将所有这些键放在一个分区中，然后将剩余的键分布在其他分区中。

另一种方法是添加一个“batcher”操作符，它将同一分区的多达N个键放入一个组中（通常这也需要一个超时来刷新，这样数据就不会被卡住）。如果可以批处理足够多的密钥，那么根据需要为与每批密钥相关联的分区加载DB数据可能不会太糟糕。