火花数据帧范围分区

Question

[新加入Spark]语言-Scala

根据文档，RangePartitioner对元素进行排序并将其划分为块，然后将块分发到不同的机器。下面的例子说明了它是如何工作的。

假设我们有一个数据框，有两列，一列（比如“a”）的连续值从1到1000。还有另一个数据帧具有相同的模式，但对应的列只有4个值30、250、500、900。（可以是任意值，从1到1000中随机选择）

如果我使用RangePartitioner对两者进行分区，

df_a.partitionByRange($"A")
df_b.partitionByRange($"A")

来自两个数据帧的数据将如何分布在节点上？

假设分区数为5。

另外，如果我知道第二个数据帧的值较少，那么减少它的分区数会有什么不同吗？

我很难理解的是，Spark如何将df_a的一个分区映射到df_b的分区，以及如何将这两个分区发送到同一台机器进行处理。

Answer 1

这里详细介绍了RangePartitioner如何在内部工作

具体到您的问题，Range分区在运行时对RDD进行采样，收集统计信息，然后才计算范围（限制）。请注意，这里有两个参数——范围（逻辑）和分区（物理）。分区的数量可能受到许多因素的影响-进审量文件，从父RDD继承的数量，在洗牌的情况下的spark.sql.shuffle.partitions等。根据抽样评估的范围。在任何情况下，Range分区都确保每个区域都包含在单个分区中。

来自两个数据帧的数据将如何分布在节点上？Spark如何将df_a的一个分区映射到df_b的一个分区

我猜你的意思是加入“A”和“B”，否则这个问题就没有任何意义了。在这种情况下，Spark将确保根据分区的统计数据，将分区与两个数据帧上的范围相匹配。