Flink Batch：HDFS上的数据本地规划？

Question

我们和Flink玩了一会儿。到目前为止，我们一直在Hadoop2.x/Yarn上使用Spark和标准M/R。

除了YARN上的Flink执行模型，即AFAIK不像spark那样是动态的，执行者动态地获取和释放YARN中的虚核，问题的要点如下。

Flink似乎很神奇：对于流媒体API，我只想说它很棒，太棒了。

不幸的是，这并不是一个小问题，因为在90%的用例中，您在HDFS上有一个大数据分区存储，通常您会执行以下操作：

• 读取和筛选（例如，只接受失败或成功）
• 聚合、减少、使用它

第一部分，当在简单的M/R或spark中完成时，总是用“首选本地处理”的习惯用法来规划，这样数据由保存数据块的同一个节点处理，以更快地避免在网络上传输数据。

请分享你的意见，我希望我只是错过了什么，或者可能它已经在一个新的版本。提前感谢任何花时间回答这个问题的人。

Answer 1

Flink使用了一种不同于Hadoop和Spark的本地输入拆分处理方法。Hadoop为每个输入分裂创建一个映射任务，该任务最好被调度到承载分裂所引用的数据的节点。

相反，Flink使用固定数量的数据源任务，即数据源任务的数量取决于运算符配置的并行度，而不取决于输入拆分的数量。这些数据源任务在集群中的某个节点上启动，并开始从主服务器（JobManager）请求输入拆分。如果HDFS中的文件有输入拆分，JobManager会用locality首选项来分配输入拆分。因此，可以从HDFS中读取位置感知的数据。但是，如果并行任务的数量远低于HDFS节点的数量，那么将远程读取许多拆分，因为源任务保留在它们启动的节点上，并且一个接一个地读取拆分（本地的先，远程的后）。另外，如果拆分非常小，竞争条件可能会发生，因为第一个数据源任务可能会在其他源任务发出第一个请求之前迅速请求并处理所有拆分。

IIRC中，本地和远程输入拆分分配的数量被写入JobManager日志文件，也可能显示在web仪表板中。这可能有助于进一步调试该问题。如果您发现了一个与我上面解释的不匹配的问题，如果您可以通过用户邮件列表与Flink社区联系，以找出问题所在，那就太好了。