了解火花中的洗牌和重新分区

Question

如果有人能用简单的术语回答这些与火花洗牌相关的问题，我将不胜感激。

在spark中，当加载一个数据集时，我们指定分区的数量，这表示输入数据（RDD）应该被划分为多少个块，并且根据分区的数量启动相等数量的任务（如果假设错误，请纠正我）。对于工作节点中的X个核心数。一次运行相应的X个任务。

沿着类似的思路，这里有几个问题。

因为，所有byKey操作以及联合、重新分区、连接和共组都会导致数据混乱。

>

数据洗牌是重新分区操作的另一个名称吗？

当重新分区发生时，初始分区（声明的分区数）会发生什么。

我已经看到了一些例子，其中显示了键的随机箭头移动（但不知道移动是如何驱动的），例如，如果我们已经有10个分区中的数据，重新分区操作是否首先组合所有数据，然后根据哈希代码%编号将特定键发送到特定分区。

Answer 1

首先，HDFS块被分成许多不在块中的分区。这些请愿书驻留在工作内存中。这些分区驻留在工作内存中。

Q-数据洗牌是重新分区操作的另一个名称吗？

答案是否定的。一般来说，重新分区意味着增加数据被划分到的现有分区。因此，每当我们增加分区时，我们实际上是在试图“移动”代码中设置的新分区中的数据，而不是“洗牌”。当我们在一个分区中移动特定键的数据时，就有点像洗牌。

Q-发生重新分区时，初始分区（声明的分区数）会发生什么情况？A-上面介绍的 另一个底层的事情是rdd.repartition（n）不会改变no。在rdd的分区中，它是一个变形，当创建其他一些rdd（如rdd1=rdd.repartition（n）时，它将起作用。

    Now it will create new rdd1 that have n number of partition.To do this, we can call coalesce function like rdd.coalesce(n) Being an action function, this will change the partitions of rdd itself.

问:有人能举例说明(解释)数据如何在集群中移动吗？我见过几个例子，其中显示了键的随机箭头移动(但不知道移动是如何驱动的)，例如，如果我们已经在10个分区中有数据，那么重新分区操作是不是先组合所有数据，然后根据哈希代码%numberofpartitions将特定的键发送到特定的分区。

Ans-partition和partition是两个不同的概念，因此partition指的是按照用户设置的分区数均匀划分数据，但在分区中，数据会根据用户设置的算法（如HashPartitioning）在这些分区之间进行混洗

比如rdd= sc.textFile(“../路径”，5)rdd.partitions.size/length

O/p: Int: 5(No.of partitions)

rdd.partitioner.isDefined

O/p: Boolean= false

rdd.partitioner

O/p: None(partitioning scheme)

但是，

rdd=sc.textFile（“../path“，5）.partitionBy（new org.apache.spark.HashPartition（10）.cache（）

rdd.partitions.size

O/p: Int: 10

rdd.partitioner.isDefined

O/p: Boolean: true

rdd.partitioner

O/p: HashPartitioning@

希望这会有所帮助！！！