Spark在读取HDFS文件时如何在内部工作

Question

假设我有一个256 KB的文件存储在HDFS文件系统中的一个节点（作为两个块，每个块128 KB）。该文件内部包含两个块，每个块128 KB。假设我有两个节点集群，每个节点只有1个核心。我的理解是，转换过程中的spark将读取内存中一个节点上的完整文件，然后将一个文件块内存数据传输到另一个节点，以便两个节点/核心可以并行执行它？那是正确的吗？

如果两个节点都有两个核心，而不是一个核心呢？在这种情况下，单节点上的两个核可以进行计算吗？对吗？

         val text = sc.textFile("mytextfile.txt") 
         val counts = text.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_) 
         counts.collect

Answer 1

您的问题有点假设性，因为Hadoop集群中的HDFS只存在一个数据节点和两个工作节点（其中一个既是工作节点又是数据节点）是不太可能的。也就是说，Spark（和MR）与HDFS的整体思想是将处理带到数据上。工作节点实际上是标准Hadoop设置中的数据节点。这就是初衷。

一些变体来回答你的问题：

>

假设上述情况，每个工作节点将在新生成的RDDs上处理一个分区和随后的转换，直到完成为止。当然，您可以对数据进行重新分区，所发生的情况取决于分区的数量和每个工作节点的执行器数量。