利用Kinesis限制Flink中的网络流量

Question

我有一个Flink应用程序在Amazon的Kinesis数据分析服务（托管Flink集群）中运行。在应用程序中，我从Kinesis流keyBy userId读取用户数据，然后聚合一些用户信息。问了这个问题之后，我了解到Flink会在集群中跨物理主机拆分一个流的读取。然后Flink将传入事件转发给主机，该主机将聚合器任务分配给对应于给定事件的密钥空间。

考虑到这一点，我试图决定使用什么作为我的Flink应用程序读取的Kinesis流的分区键。我的目标是限制Flink集群中主机之间的网络流量，以优化Flink应用程序的性能。我可以随机分区，使事件均匀地分布在分片上，也可以按用户ID对分片进行分区。

这个决定取决于Flink在内部的工作方式。Flink是否足够聪明，可以为主机上的本地聚合器任务分配一个密钥空间，该密钥空间将与同一主机上的Kinesis使用者任务正在读取的碎片的密钥空间相对应？如果是这种情况，那么按用户ID进行分片将导致网络流量为零，因为每个事件都是由将其聚合的主机进行流式传输的。似乎Flink没有一个明确的方法来实现这一点，因为它不知道运动流是如何分片的。

Answer 1

10年前，通过网络传输尽可能少的数据是非常重要的。5年来，网络的速度变得如此之快，以至于你注意到通过网络或内存访问数据块之间几乎没有什么区别（当然，随机访问还是要快得多），因此我不会为额外的流量担心太多（除非你必须为此付费）。有趣的是，Google Datastream开始在两个任务之间将所有数据流到一个中央shuffle服务器，有效地将流量增加了一倍；但是他们仍然在他们的Petabyte网络上经历了巨大的加速。

考虑到这一点，让我们转到Flink。闪烁目前没有办法动态调整碎片，因为它们可以随着时间的推移来去。在使用FLIP-27的半年内，情况可能会有所不同。

就目前而言，有一个变通方法，目前主要用于Kafka-land（静态分区）。datastreamutils#reinterpretaskeyedstream允许您指定逻辑keyby而无需物理洗牌。当然，您要负责提供的分区与实际情况相符，否则将得到不正确的结果。