流式传输中的网络洗牌

Question

因此，keyby或groupby会导致重新分区流的网络洗牌。据说它是相当昂贵的，因为它涉及到网络通信以及序列化和反序列化等。

举个例子，如果我运行以下操作符：

map(Mapper1).keyBy(0).map(Mapper2)

如果并行度为2，我将得到如下结果：

Mapper1(1) -\-/- Mapper2(1)
             X
Mapper1(2) -/-\- Mapper2(2)

并且最终mapper1中具有相同键的所有记录都被分配给mapper2中的相同分区。

Answer 1

因此，Apache Flink缓冲任务的传出，然后将其发送到下一个任务进行处理。SetBufferTimeout是作业级别的参数，可以通过StreamExecutionEnvironment配置，该超时的默认值为100 ms。在此之后，即使缓冲区未满，也会自动发送缓冲区。

还有下面的链接对了解细节确实有帮助：

https://flink.apache.org/2019/06/05/flink-network-stack.html