了解Apache Flink仪表板的输出

Question

我试图理解Apache Flink仪表板显示的“接收/发送的字节”是什么意思。在某些情况下，CSV文件托管在HDFS服务器上，我正在将结果写入机器上本地的TXT文件中。Flink也在我的机器上本地运行。考虑到这一点，“发送的字节”似乎是指“从HDFS服务器发送到我的机器的字节”，“接收的字节”似乎是指“从我的机器发送到HDFS服务器的字节”。这是正确的解释吗？

时间线显示的重叠任务也让我有点困惑。在前两个数据集的过滤完成之前开始连接似乎很奇怪。这是预期的行为吗？如果是，为什么？

以下是我对正在发生的事情的一些背景的执行计划。

Answer 1

Flink操作符的“接收字节”指的是传入数据，“发送字节”指的是传出数据。换言之，您可以将其反向：数据源接收的字节是从HDFS接收的字节，从接收器发送的字节是写入TXT文件的字节。

但是，正如本答案中解释的那样，Flink不提供源的接收字节统计数据，也不提供汇的发送字节，这就是为什么这些数字为零的原因。顺便说一句，计划在未来的版本中对此进行改进。

至于数据流管道中的重叠并发计算——是的，这是Flink设计的一个重要特性，它可以支持连续的流式数据流。在执行批处理工作负载时，这不是必需的，但不会造成伤害。